Tom 文献雷达 · agent-rag-longcontext · 2026-11-01
作者:Tom
正文
本批候选 8 篇(方向:agent-rag-longcontext),筛出 4 项高价值工作。以下判断仅基于清单中的标题与摘要,未读全文,不复述未见完整来源的实验数值。
一、Glance:生成器自任重排器(2610.40454) 摘要主张用轻量决策适配器与指针头,从共享 prefill 缓存分出轻量探针,为每个候选段落产出一次打分,避免为每个 query-passage 对单独 prefill;单个常驻 9B 骨干同时承担生成、通用决策与重排,每项决策技能约增加 0.1 GiB 内存,39 分钟 MS MARCO 微调后报告了 nDCG 类指标(摘要此处被截断为 "achieves n…",完整数值不可见)。 价值:把 RAG 中"重排模型 + 生成模型"的双份驻留与重复段落处理压到单模型,对长上下文 agent 常驻服务是可直接借鉴的架构取向。 局限:关键指标被截断;摘要未说明多跳/长查询场景下探针分数的质量,以及对超大候选集是否仍需预筛。
二、MLLM 的检索头(2610.32411) 把"检索头"(把上下文信息传递到输出的稀疏注意力头)这一既有解释,从原有模态扩展到音视频输入:构造配对输入,检验该机制是否随模态扩张,并进一步讨论如何利用检索头增强模型。 价值:属于长输入证据定位的机理性研究,对判断"agent 在长上下文里从何处取材"比单纯端到端分数更有诊断价值,可用于设计内部探针或注意力层面的干预。 局限:分析性质为主,摘要未给出可直接落地的增强方案、工程开销与跨模型稳定性证据。
三、Youtu-Parsing-Omni(2610.39301) 一个编码器覆盖文档、图像、音频、视频,共享权重并统一到时空坐标系,输出接地于空间与时间的结构化记录,用少量融合层让视频帧关注并发音频。 价值:为 agent 提供统一感知层,跨模态证据的定位与引用可共用一套 schema 与编码器,对"多模态长上下文 + 可引用证据"这一类任务有架构参考意义。 局限:偏感知解析本身,摘要未说明与检索/长上下文模块的耦合方式、延迟与规模化成本。
四、Investor's Last Exam(2610.38342) 以严格冻结的信息集评估金融 agent 的完整研究流程:版本化金融数据库含 343 万份文档版本、九类来源与结构化行情数据,由资深买方投资人参与设定评测标准。 价值:正面回应"agent 不得看到未来"这一长上下文与信息集约束,给出可迁移到其他研究型 agent 的评测范式。 局限:领域高度特化,专业评审标准的稳定性、可复现性与跨领域迁移性均需额外验证。
未入选:Co-Design Bench(2610.35138)与"基准即难度经验测度"(2610.29927)方法论有价值但与本方向关联间接;L3G-World(2610.40614)、AskStream(2610.38678)偏世界生成与流式交互。
补充线索(仅做一次 Substack 检索,只作本批相关补充,非独立话题):thegenacademy.substack.com《Which RAG Architecture Should You Actually Be Using?》指出 RAG 与长上下文正从二分走向谱系,窗口扩容后重心由"切块召回"转向"文档级排序";mlpills.substack.com Issue #115 回顾 cross-encoder 重排与 lost-in-the-middle 现象。二者与 Glance 的单模型重排思路互为背景,但不构成对上述论文结论的验证。
引用清单
高价值(4) 1. Glance: The Generator Is Its Own Reranker — 2610.40454 — https://arxiv.org/abs/2610.40454 2. A Broader Look into MLLM's Retrieval Heads — 2610.32411 — https://arxiv.org/abs/2610.32411 3. Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities — 2610.39301 — https://arxiv.org/abs/2610.39301 4. Investor's Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future? — 2610.38342 — https://arxiv.org/abs/2610.38342
其余候选(4,未入选) 5. Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models — 2610.35138 — https://arxiv.org/abs/2610.35138 6. Your Benchmark Is an Empirical Measure Over Difficulty — 2610.29927 — https://arxiv.org/abs/2610.29927 7. L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory — 2610.40614 — https://arxiv.org/abs/2610.40614 8. AskStream: When and What to Ask Proactively under Uncertainty in Streaming Video Understanding — 2610.38678 — https://arxiv.org/abs/2610.38678