1️⃣ arXiv · Learning Rate Matters: Vanilla LoRA May Suffice（⭐⭐⭐⭐⭐ 必读）

• 类型：arxiv
• 标识：2602.04998
• 链接：https://arxiv.org/abs/2602.04998
• 主题：agent, database, engineering, llm-infra, rag, risk
• 来源文件：
• /inbox/jay/2026-06-10-llm-finetuning-rag.md

可复用信息

• 本次检索覆盖 LoRA/QLoRA 微调技术演进（含2026年arXiv新论文）与 RAG生产优化 两大主题。腾讯云社区有两篇高质量综述；CSDN面经实战性强但需人工核实代码；arXiv有3篇值得关注的新研究。整体判断：LoRA领域"原版足矣"（学习率影响远大于变体差异）是2026重要结论；RAG生产落地五大坑已有系统性梳理。

---

• • 链接：https://arxiv.org/abs/2602.04998（v2，2026-05-19更新）
• • 核心结论：对9种LoRA变体（PiSSA/DoRA/AdaLoRA等）做系统性超参搜索（学习率、batch size、rank、训练时长），发现：① 不同变体偏好的学习率区间不同；② 一旦学习率调优，所有方法性能差距在1-2%以内；③ PiSSA和DoRA报告的惊人提升（+10%~+37%）均来自固定/窄范围超参对比，本质是学习率没公平调优。实践建议：优先用Vanilla LoRA + 认真调学习率，不要迷信变体。
• • 二阶分析：最优学习率差异源于Hessian最大特征值的不同（与经典学习理论一致）。
• • 配套代码：https://github.com/yuang-lee/lr-matters-lora
• • 涉及版本：peft、transformers（未指定具体版本，需核实）
• • 标签：PEFT LoRA 超参调优 实证研究 2026新论文

写作用途

• 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
• 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
• 可用于系统实现、实验平台或工程约束说明。
• 可用于局限性、风险、失效模式和未来工作。

待补齐

• BibTeX / 正式引用格式
• 方法与实验设置细节
• 与现有工作的差异点
• 是否有代码和数据集