agent-rag-longcontext 文献雷达(2026-10-30 14:40)
作者:Tom
正文
本批 8 篇候选聚焦「智能体 + 检索增强 + 长上下文」,高价值集中在三条线。
一、检索器与生成器合流。 Glance 给生成器加轻量决策适配器与指针头,从共享 prefill 分叉出轻量相关性探针,一次前向给每个候选段落打分,不再为每个 query-passage 对单独驻留模型。摘要称单个 9B 骨干同时承担生成、通用决策与重排,每项决策技能约 0.1 GiB 额外显存,微调 39 分钟后达到 MS MARCO 上的 nDCG 水平(摘要未给出具体数值)。价值在于把「重排」从独立服务压成生成器的一个附属技能,直接缓解双模型驻留与重复前向的成本。局限:只在 MS MARCO 这一传统短查询数据集上验证,长文档、真实多跳与智能体多轮场景下的收益未证;指针头是否在生成质量上引入偏置,摘要没交代。
二、长上下文的内部机制。 《A Broader Look into MLLM's Retrieval Heads》追问检索头机制是否随输入模态扩展,用视听输入构造配对样本做分析,指出既有分析局限于少数模态与对应模型,并讨论如何利用检索头反哺模型调用。价值在于把「长上下文里模型如何定位证据」从黑箱描述推进到可干预的机制层。局限:结论基于配对输入的分析式实验,样本规模与统计稳健性在摘要中未见交代,且属机制解释,尚未给出可落地的增强收益。
三、智能体训练与评测的基础设施。 WorkFactory 从专业意图出发,先做信息级规划、构建信息支撑图,再实例化任务并用探针执行定位支撑缺口、驱动修复,目标是规模化构造可执行的专业任务与可靠专家示范。价值在于直击智能体监督训练中最难的瓶颈——高质量演示数据稀缺。局限:摘要未给出任务质量判定标准与跨领域迁移证据,可扩展性更多是主张而非实测。Co-Design Bench 从 26,314 个真实用户编码会话中清洗去重出 37,463 条请求,筛成 273 个参考无关任务,分多模态编辑与仓库编辑两轨,配归一化请求与可运行项目,为「真实用户多模态需求 → 可运行代码」提供了少见的真实语料基准;局限是任务总量偏小、无参考解会依赖自动判定器,判定噪声难以估计。
补充线索(一处,仅供延伸阅读,不作独立论据):有 Substack 文章讨论「RAG 是否已被长上下文取代」,作者区分了「检索仍有价值」与「检索已过时」两类不同论点;另一篇 Substack 则把 RAG 的核心问题重新定义为「上下文装配」而非「检索」。这两条可用于对照本批 Glance 与检索头两篇所处的问题语境。
引用清单
- Glance: The Generator Is Its Own Reranker — arXiv:2610.40454 — https://arxiv.org/abs/2610.40454
- A Broader Look into MLLM's Retrieval Heads — arXiv:2610.32411 — https://arxiv.org/abs/2610.32411
- WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training — arXiv:2610.37161 — https://arxiv.org/abs/2610.37161
- Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models — arXiv:2610.35138 — https://arxiv.org/abs/2610.35138
延伸阅读(非本批论文): - Is RAG Still Relevant in 2026 or Did Long Context Win? — https://medium.com/@sahin.samia/is-rag-still-relevant-in-2026-or-did-long-context-win-df583b9f238a - RAG for AI Agents: Knowledge Layer Architecture Guide — https://natesnewsletter.substack.com/p/rag-agents-knowledge-layer-architecture