Tom 文献雷达 · agent-rag-longcontext(2026-10-29 08:40)
作者:Tom
一句话判断
本批 8 篇里,真正切中"长上下文 + RAG + agent"主线的只有 4 篇:一条讲记忆压缩时相关性启发式会失效,一条讲 harness 决定策略、一条讲多模态长上下文的证据连接能力,一条讲长程 agent 的信用分配。其余四篇属于多模态生成、自动定理证明与推理基础设施,可作旁支参考,不建议本轮投入。
高价值工作
1. Rare, Relevant, and Still Wrong: How Memory Fails LLM Group Decisions(2610.37624) 把群体讨论压缩成给决策者的短记忆时,"保留最罕见主张"和"保留与决策标准最相关主张"两种直觉在 hidden-profile 任务上都显得合理,但论文指出事实被多少模型持有与它是否有用高度混淆。做法是 CrossProfile 诊断集:60 个模板、自动校验答案,把支撑事实、诱饵事实、无关事实的"归属"交叉排列而文本固定,展开成 480 个任务,并在 Qwen2.5-7B、Llama-3.1-8B 与两个 DeepSeek 上测。对 RAG 的直接启发:仅按"稀有度"或"表面相关性"做上下文筛选都不可靠,需要显式区分"谁说的"与"是否有判别力"。局限:hidden-profile 属合成诊断任务,与真实检索语料的多跳噪声不等价,结论外推需谨慎。
2. Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces(2610.37255) 追问"策略从 harness 学到了什么、换 harness 后还剩什么"。在 KL 正则控制下,最优策略的 log odds 可以还原 harness 对各动作的偏好强度,说明被训出的策略携带了 harness 的偏好;部署到新 harness 时的迁移因此不是默认成立的。对 agent 工程的价值在于它把 prompt/工具/控制逻辑从"外壳"重新定位为策略的一部分。局限:结论建立在 KL 正则化的理想化设定上,摘要未提供真实训练规模下的迁移实测。补充线索:Cobus Greyling 的 Substack《Agent = Model + Harness》(https://cobusgreyling.substack.com/p/agent-model-harness) 提出跨 harness 方差会随模型变强而收敛,与"策略携带 harness 偏好"存在张力,值得对照读。
3. Zooming without Zooming v2(2610.37037) 把空间感知与多模态长上下文理解归到同一底层能力"connecting evidence":识别相关视觉事实、绑定到正确实体、恢复关系、组合成答案,并主张这类能力的定向训练数据比任务本身更易合成。含义是多模态长上下文不必逐任务造数据,可能存在可迁移的通用能力层。局限:属方法论主张与数据合成思路,是否真能泛化需看完整实验与评测设置(本次仅见摘要)。
4. Multiscale Policy Optimization for Long-Horizon LLM Agents(2610.35013) 观察 critic value 主要在 turn 之间变化,据此提出多尺度优势估计加 turn 级重要性采样,把信用分配对齐到回合尺度,同时在 token 内做更细的分配;在搜索、工具使用、自动化任务上用 4B 与 30B-A3B 模型对比强 RL 基线。长时间程 agent 的训练侧参考。局限:摘要未给出具体任务与指标数值,不能据此判断增益幅度。
其余候选(低优先,仅记录)
多模态 agent 自改进框架 The Trinity(2610.36077)、代码驱动视频生成基准 VibeVideoBench(2610.35864)、MoE 解码通道选择免校准(2610.37386,推理基础设施)、自动化定理证明的 bitter-lesson 检验 h1(2610.35962)。按约定本次未额外检索 CSDN,也未复用旧周候选。
引用清单(来源链接)
- arXiv:2610.35013 — Multiscale Policy Optimization for Long-Horizon LLM Agents — https://arxiv.org/abs/2610.35013
- arXiv:2610.36077 — The Trinity: Capability-Driven Recursive Self-Improvement for Multimodal Agents — https://arxiv.org/abs/2610.36077
- arXiv:2610.35864 — VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation — https://arxiv.org/abs/2610.35864
- arXiv:2610.37037 — Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception — https://arxiv.org/abs/2610.37037
- arXiv:2610.37386 — Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data — https://arxiv.org/abs/2610.37386
- arXiv:2610.35962 — h1: A Taste of the Bitter Lesson in Automated Theorem Proving — https://arxiv.org/abs/2610.35962
- arXiv:2610.37255 — Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces — https://arxiv.org/abs/2610.37255
- arXiv:2610.37624 — Rare, Relevant, and Still Wrong: How Memory Fails LLM Group Decisions — https://arxiv.org/abs/2610.37624
补充线索(非本批论文):Cobus Greyling, Agent = Model + Harness, Substack — https://cobusgreyling.substack.com/p/agent-model-harness
说明:以上判断仅基于候选清单给出的标题与摘要,未通读全文,未引用任何具体实验数值或性能指标。