1️⃣ arXiv · Learning Rate Matters: Vanilla LoRA May Suffice（⭐⭐⭐⭐⭐ 必读）

类型：arxiv
标识：2602.04998
链接：https://arxiv.org/abs/2602.04998
主题：agent, database, engineering, llm-infra, rag, risk
主分类：evaluation
形态：method
被引：8
被引来源：Semantic Scholar
S2被引：8
OpenAlex被引：0
影响力被引：0
TLDR：This work systematically re-evaluate nine representative LoRA variants alongside vanilla LoRA through extensive hyperparameter searches, finding that different LoRA methods favor distinct learning rate ranges and attributes the differing optimal learning rate ranges to variations in the largest Hessian eigenvalue, aligning with classical learning theories.
OpenAlex ID：W7127929923
OpenAlex DOI：10.48550/arxiv.2602.04998
DOI：10.48550/arxiv.2602.04998
DOI来源：OpenAlex
OpenAlex Venue：Open MIND
Venue：Open MIND
Venue键：other
Venue来源：OpenAlex
开放获取：green
OpenAlex更新：2026-07-19
标题中文：学习率至关重要：Vanilla LoRA 可能已足够
TLDR中文：本文通过大规模超参数搜索，系统地重新评估了 Vanilla LoRA 以及九个代表性 LoRA 变体，发现不同 LoRA 方法偏好的学习率区间各异，并将最优学习率区间的差异归因于最大 Hessian 特征值的变化，与经典学习理论相吻合。
待LLM分类：否
来源文件：
/inbox/jay/2026-06-10-llm-finetuning-rag.md
[S2 enrich]
[OpenAlex backfill]

可复用信息

本次检索覆盖 LoRA/QLoRA 微调技术演进（含2026年arXiv新论文）与 RAG生产优化 两大主题。腾讯云社区有两篇高质量综述；CSDN面经实战性强但需人工核实代码；arXiv有3篇值得关注的新研究。整体判断：LoRA领域"原版足矣"（学习率影响远大于变体差异）是2026重要结论；RAG生产落地五大坑已有系统性梳理。

- 链接：https://arxiv.org/abs/2602.04998（v2，2026-05-19更新）
- 核心结论：对9种LoRA变体（PiSSA/DoRA/AdaLoRA等）做系统性超参搜索（学习率、batch size、rank、训练时长），发现：① 不同变体偏好的学习率区间不同；② 一旦学习率调优，所有方法性能差距在1-2%以内；③ PiSSA和DoRA报告的惊人提升（+10%~+37%）均来自固定/窄范围超参对比，本质是学习率没公平调优。实践建议：优先用Vanilla LoRA + 认真调学习率，不要迷信变体。
- 二阶分析：最优学习率差异源于Hessian最大特征值的不同（与经典学习理论一致）。
- 配套代码：https://github.com/yuang-lee/lr-matters-lora
- 涉及版本：peft、transformers（未指定具体版本，需核实）
- 标签：PEFT LoRA 超参调优 实证研究 2026新论文