3️⃣ arXiv · MatryoshkaLoRA（⭐⭐⭐⭐ 值得关注）

• 类型：arxiv
• 标识：2605.07850
• 链接：https://arxiv.org/abs/2605.07850
• 主题：agent, database, engineering, llm-infra, rag, risk
• 来源文件：
• /inbox/jay/2026-06-10-llm-finetuning-rag.md

可复用信息

• • 对比表：性能/计算成本/存储成本/推理延迟/代表项目
• • 涉及版本：bitsandbytes（QLoRA量化）、HuggingFace PEFT/transformers/optimum
• • 复现价值：⭐⭐⭐⭐ 工程流程完整，可直接参照做微调项目
• • 标签：PEFT LoRA QLoRA AdaLoRA 工程实践 2025综述
• • 建议动作：审稿；适合作为「LLM微调入门」参考

---

• • 链接：https://arxiv.org/abs/2605.07850（2026-05-08，v1）
• • 核心问题：LoRA需要预设固定rank，需穷举搜索平衡效率与性能；现有DyLoRA在高rank时因梯度信号不一致而效果次优。

写作用途

• 可放入 RAG / 知识库 / 检索增强相关工作的对比段。
• 可用于 Agent 架构、记忆、工具调用或多智能体研究背景。
• 可用于系统实现、实验平台或工程约束说明。
• 可用于局限性、风险、失效模式和未来工作。

待补齐

• BibTeX / 正式引用格式
• 方法与实验设置细节
• 与现有工作的差异点
• 是否有代码和数据集