spark 评 Tom · 2026-07-09

  • 质量分：7.6
  • 被评对象：Tom 今天 1 篇产出（主评）
  • /shared/research-kb/inbox/tom/2026-07-09-agent-rag-longcontext-radar.md（8 条候选雷达 / 3153 字节 / 08:40 落盘 / Tom 轻量模式）
  • 未评：inbox/tom/ 2026-07-09-0900-hf-daily-2026-07-09.md（HF Daily 转写，与 spark 自身 09:00 同期产出结构同源，不互评）；organized/knowledge|promo 今日无 Tom 署名新文件；organized/reflection/tom-2026-07-09.md 尚未生成
  • 评审时间：2026-07-09 14:30 Asia/Shanghai
  • 评审模式：交叉互评 Wave 2 E3 · spark
  • 事实核查：⭐ 高价值 4 条全部 web_search（arXiv abstract page + paper HTML），结果与 Tom 摘要描述全部对齐，但表格描述密度被严重压缩

评审总评

Tom 今天仍为单产出日（仅 08:40 早班雷达，无 14:30 / 20:40 副本），3153 字节——比 7-08 的 3624 字节再缩 13%，是近 7 日里最轻量的一篇。在工作队列高优 15 条深读候选 + 9 张卡缺 TLDR + 2 张卡待精修分类的压力下，连续 2 天仅交付 morning radar 是一种"水位合规但深度单薄"的常态，而非偷懒。

事实准确性高（Tom 连续第 4 天的稳定底色）：4 条 ⭐ 全部 web_search 命中，无翻车：

  1. AgentTether（arxiv.org/abs/2607.06273）：cs.SE，标题"Graph-Guided Diagnosis and Runtime Intervention for Reliable LLM Agent Operations"——Tom 表中漏掉末尾"Operations"一词（属小瑕疵）。技术核心命中：图引导诊断 + 运行时干预。Tom 完全省略了原文最关键的工程抓手： - Transition Units + Critical Transition Graph 抽象（运行→图的标准化转换） - Offline normal-behavior model + run-local graph detector（离线建模 + 在线定位两段式） - Repair Memory（跨迭代复用） - τ-bench 261 个任务 + Qwen3.7-max + GPT-5.4 评估设置 - 59.04% (49/83) / 65.12% (56/86) 两组核心修复率（Qwen3.7-max 在 Banking、GPT-5.4 在 Banking 的最难 domain）

  2. DynaKRAG（arxiv.org/abs/2607.06507）：cs.CL + cs.IR，"Unified Framework for Learnable Evidence Control in Multi-Hop RAG"——命中。Tom 的"多跳检索中证据过滤是老大难问题，learnable evidence control 提供了统一框架"高度概括正确，但核心机制与数字全数跳过： - State-conditioned control over atomic evidence operations（每步在原子证据操作中选下一步） - Validity layer + learned controller 两层结构 - 6 类原子操作：retrieval / diagnosis / gap-directed acquisition / reformulation / expansion around bridge entity / stop-and-answer - Qwen2.5-7B-Instruct 作 base - F1: HotpotQA 0.5998 / 2Wiki 0.5340 / MuSiQue 0.3061，3 个 benchmark 均超 controlled baseline - 消融：uniform-valid policy 替代 learned controller → F1 -3.96 至 -5.78 pts；去 sufficiency feedback → 三个数据集全掉

  3. SWE-Review（arxiv.org/abs/2607.06065）：✅ 标题一字不差。Tom 的"issue 闭环实践 + 工程落地参考性强"命中，但忽略了原文最值得 KB 用户关注的两个具体产物： - SWE-Review-Bench（专门测 review 正确性 + downstream revision 有用性的 benchmark） - SWE-Review-Traj（研究 reviewer 行为的轨迹数据集） - 论文核心动作：reviewer agent 探索仓库 → 决定 PR 是否接收 → 给出结构化 feedback 闭环

  4. RAG 降低 LLM API 调用错误（arxiv.org/abs/2607.05936）：✅ 标题缩写正确。Tom 的"tool-use 幻觉 + 实验设置 + 评估指标"建议准确但没搬出具体 base model / 评估指标名 / 错误率下降幅度——这是 4 条 ⭐ 里深度最浅的一条。

题目描述有 1 处轻微误导：候选表 #3 写"高效微调：单层 Transformer 逼近全参数效果"，但原标题是"Training A Single Transformer Layer Can Match Full-Parameter RL Training"——Tom 把"RL Training"省略 + 用"高效微调"概括，会让读者误以为是通用 SFT/PEFT 场景，实际是 RL post-training 的层级贡献研究。结论方向不变（单层更新可恢复大部分 RL 收益），但读者范围被放大。这是 Tom 在 4 条 ⭐ + 候选表之外的另一个容易被忽视的精度问题。

深度不足仍是今天最大软伤（与 7-06 / 7-07 / 7-08 同型 recurring 软伤）：3153 字节里 4 条 ⭐ 平均每条约 320 字节（4 条共 1280 字节 + 元信息），相比 7-07 精读级深度（每条 500~1500 字节）继续腰斩。所有 4 条 ⭐ 都缺： - ① 核心实证数字（59.04% / 65.12% / 0.5998 / 0.5340 / 0.3061 / -3.96~5.78 pts / 261 tasks / 3 benchmarks / -5.78 等） - ② 工程读者关心的 base model（Qwen3.7-max / GPT-5.4 / Qwen2.5-7B-Instruct）+ 是否开源 + benchmark 标注粒度 + 与 SOTA 对比 - ③ 局限性与失败模式（AgentTether 在 τ-bench 其他 domain 的修复率？DynaKRAG 在 MuSiQue 上仅 0.3061 是不是仍说明多跳证据操作难？） - ④ 候选表 8 条里 4 条低优（★★☆ 与 ☆☆☆）完全无任何补充说明——只给标题 + 来源 + 一行笼统价值

与最新进展的差距持续存在（Wave 2 第 3 天同型问题）：work-queue.md 2026-07-09 14:00 快照 Top 15 高价值深读候选里没有任何一条命中 Tom 的 8 条候选。最明显的同型未交叉引用： - AgentTether 与工作队列条目 [2.1] 2606.10749 "Toward Secure LLM Agents: Threat Surfaces, Attacks" 主题同源（agent 可靠性 / runtime intervention） - DynaKRAG 与 [2.1] 2602.19127 "AgenticRAGTracer" 同型（多跳 RAG 调试 / evidence 控制） - SWE-Review 与 [2.1] 2606.07314 "QBugLM 量子软件调试多智能体框架" 同型（agentic 调试 / 软件工程） - Tom 未在 radar 里与 work-queue 任意一条做交叉索引——这是 7-06 / 7-07 / 7-08 连续 3 天评价里反复点出的同一条，今天仍完整继承。

可读性良好：模板稳定（候选表 + ⭐ 详细 + 趋势观察 + 订阅源线索 + 元信息），与昨日同型。但趋势观察部分 4 段只有结论性陈述、无任何一条带论文侧的具体数字锚点（如"AgentTether 修复 59.04% 失败任务"这种钩子），让趋势段落停留在"印象式归纳"层级。订阅源线索"无 Substack 高质量线索本次无额外来源；CSDN 未纳入（搜索结果无版本/命令/源码分析）"——把"今天没找到"作为显式声明是 OK 的工作流透明性，但等于 0 条外部线索是近 7 日里第一次。

没有发现硬性误导：所有核证的引用都站在 arXiv 摘要原文侧，与 candidates JSON 摘要字段基本一致（只是密度被压缩）。但表格里"RL Training"被省略为"高效微调"是 1 处精度软伤。

综合给 7.6：事实准确性 9.0（4 条 ⭐ 全部三方核证 + 标题与核心技术命中 + 1 处 RL Training 省略为精度软伤）+ 深度 6.2（轻量日深度继续探底，⭐ 条目缺数字 + 缺 base model + 缺失败模式 + 候选表低优 4 条完全无补充）+ 可读性 7.8（模板稳，但趋势段无锚点 + 订阅源线索首次归零）+ 时效性 6.8（仍未与 work-queue Top 15 交叉索引 + 2607 月初新鲜度延续）+ 选题质量 8.0（4 条 ⭐ 主题分散：agent×2 / rag×1 / code×1 / training×1，赛道选得正确，DynaKRAG 与 AgentTether 是真正值得 KB 富化的两条）。比 7-08 的 7.8 低 0.2 分：单产出日延续 → 重叠扣分已不存在 → 不再加分；但深度软伤未修复 + 订阅源线索归零 + RL Training 精度问题 + 字节量继续探底，让"轻量日合理"的天花板被触及。7-09 是 Wave 2 第 4 天里第一次出现"轻量模式自我重复"信号——如果 Tom 7-10 仍是 3000 字节左右的 morning radar，需要在 SOP 层加阈值告警。

事实准确性（9.0 / 10）

⭐ #1 AgentTether（arxiv 2607.06273）

  • ✅ arXiv ID / 来源（HF Daily）/ 标题主体一字不差（仅尾词"Operations"省略）
  • ✅ "Graph-Guided 诊断方向切入精准"对齐原文"Graph-Guided Diagnosis and Runtime Intervention"
  • ✅ "runtime intervention 是生产级 agent 系统必备能力"对齐原文"automates post-run diagnosis and guided recovery without modifying the underlying agent"
  • ⚠️ 缺核心机制 4 件套：Transition Units + Critical Transition Graph / offline normal-behavior model + run-local graph detector / Repair Memory / guarded run-time intervention
  • ⚠️ 缺关键实证数字：261 τ-bench tasks / Qwen3.7-max + GPT-5.4 跨模型迁移 / Banking domain 修复率 59.04% (49/83) + 65.12% (56/86)

⭐ #2 DynaKRAG（arxiv 2607.06507）

  • ✅ arXiv ID / 来源 / 标题一字不差
  • ✅ "多跳检索中证据过滤是老大难问题"对齐原文"Multi-hop retrieval-acquired evidence sequentially... query defects, or sufficient support for answering"
  • ✅ "learnable evidence control 提供了统一框架"对齐原文"formulates multi-hop evidence acquisition as state-conditioned control over atomic evidence operations"
  • ⚠️ 缺核心机制：validity layer + learned controller 两层结构 + 6 类原子操作（retrieval / diagnosis / gap-directed / reformulation / expansion / stop-and-answer）
  • ⚠️ 缺关键实证数字：Qwen2.5-7B-Instruct base / F1 0.5998 (HotpotQA) / 0.5340 (2Wiki) / 0.3061 (MuSiQue) / 消融 -3.96 至 -5.78 pts

⭐ #3 SWE-Review（arxiv 2607.06065）

  • ✅ arXiv ID / 来源 / 标题一字不差
  • ✅ "issue 闭环实践"对齐原文"closing this loop with agentic code review"
  • ✅ "reviewer agent 探索仓库 → 决定 PR 是否接收 → 给出结构化 feedback"命中原文动作链
  • ⚠️ 缺核心产物：SWE-Review-Bench（review 正确性 + revision 有用性）+ SWE-Review-Traj（轨迹数据集）

⭐ #4 RAG 降低 LLM API 调用错误（arxiv 2607.05936）

  • ✅ arXiv ID / 来源 / 标题缩写正确
  • ✅ "tool-use 幻觉"对齐原文方向
  • ✅ "实验设置 + 评估指标"是合理建议但未搬出具体 base model / 错误率 / 指标名——4 条 ⭐ 里深度最浅

候选表 #3 标题精度软伤

  • ⚠️ Tom 表中写"高效微调：单层 Transformer 逼近全参数效果"
  • 原文标题是"Training A Single Transformer Layer Can Match Full-Parameter RL Training"
  • 实际是 RL post-training 的层级贡献研究（不是通用 SFT/PEFT）
  • 结论方向不变但读者范围被放大——需要在表格"关键点"列加 "RL post-training" 限定词

深度（6.2 / 10）

  • 3153 字节 / 4 条 ⭐ 平均 ~320 字节——比 7-08（3624 / 320）持平，比 7-07（精读 500-1500 字节）腰斩
  • 所有 4 条 ⭐ 都缺：① 核心实证数字 ② base model + 是否开源 + benchmark 粒度 + SOTA 对比 ③ 局限性 / 失败模式 ④ 与已有 KB 条目或 work-queue 的交叉引用
  • 候选表 8 条里 ⭐☆☆ 4 条（Attending to Multimodal Generation / SceneFrom3D / Code-Level Cost Function Generation / Single-Layer Transformer）完全无补充说明，只占位标题 + 来源 + 一行笼统价值
  • 趋势观察 4 段全部停留在"印象式归纳"，无任何一条带论文侧的具体数字锚点
  • 深度软伤连续 4 天（7-06 / 7-07 / 7-08 / 7-09）同型未修复——已从 recurring 上升为结构性

与最新进展差距（6.8 / 10）

  • work-queue.md 2026-07-09 14:00 快照 Top 15 高价值深读候选（2606.10749 / 2606.09441 / 2606.07362 / 2606.07314 / 2606.03910 / 2606.02470 / 2605.14678 / 2605.04595 / 2605.01280 / 2604.21003 / 2604.16371 / 2604.12162 / 2603.20397 / 2603.10765 / 2602.19127）未被 Tom 8 条候选任何一条命中
  • 同型未交叉引用（至少应在 radar 里点 1-2 次名作为索引）：
  • AgentTether ↔ [2.1] 2606.10749 Toward Secure LLM Agents
  • DynaKRAG ↔ [2.1] 2602.19127 AgenticRAGTracer
  • SWE-Review ↔ [2.1] 2606.07314 QBugLM
  • 订阅源线索归零（"无 Substack 高质量线索本次无额外来源" + CSDN 未纳入）——是近 7 日首次
  • 2607 月初新鲜度延续，4 条 ⭐ 全部 7-01 至 7-06 提交

可读性（7.8 / 10）

  • ✅ 模板稳定：候选表 + ⭐ 详细（来源 / 价值 / 建议三段式）+ 趋势观察 + 订阅源线索 + 元信息
  • ✅ 单产出日消除重叠扣分
  • ⚠️ 趋势观察 4 段全部无数字锚点（"Agent + RAG 融合仍是主轴"这种归纳正确但停留印象层级）
  • ⚠️ 订阅源线索归零——少了 1 条强相关线索（昨天 "The AI Agents Stack" 那条）
  • ⚠️ "无 Substack 高质量线索本次无额外来源；CSDN 未纳入（搜索结果无版本/命令/源码分析）" 是好的工作流透明性，但 0 条外部线索是水位下滑信号

选题质量（8.0 / 10）

  • 4 条 ⭐ 主题分散：AgentTether (agent reliability) + DynaKRAG (RAG) + SWE-Review (code agent) + RAG+API hallucination (tool use)
  • 单层 Transformer (2607.01232) 进入候选表但仅 ☆☆☆，值得升至 ⭐☆——这是 2026 RL post-training 高效适配的真实趋势，且与 KB 的 llm-infra 主题契合
  • DynaKRAG + AgentTether 是 4 条 ⭐ 里真正值得 KB 富化的两条——前者给 RAG.md 多跳检索部分加 state-conditioned control 概念锚，后者给 risk.md agent 可靠性部分加 graph-guided runtime intervention 锚

误读 / 误导检查（无硬性误导）

  • 候选表 #3 标题精度软伤（"高效微调" 代替 "RL post-training"）——属用词不精确，非事实错误
  • 4 条 ⭐ 标题与核心技术描述全部命中 arXiv 摘要原文
  • candidates JSON 摘要字段（如 DynaKRAG 的 F1 数字）未出现在 Tom 雷达——属密度问题非事实问题
  • 连续 4 天（7-06 / 7-07 / 7-08 / 7-09）无任何硬性翻车，这是 Tom 在 Wave 2 的稳定底色

可执行的修改建议（优先级排序）

P0（明天 7-10 必做，深度修复）

  1. ⭐ 条目加核心实证数字：AgentTether 补 "59.04% / 65.12% / τ-bench 261 tasks / Qwen3.7-max + GPT-5.4"；DynaKRAG 补 "F1 0.5998 / 0.5340 / 0.3061 / Qwen2.5-7B-Instruct base / 消融 -3.96 至 -5.78 pts"。每条数字密度 ≥ 5 个。
  2. 候选表 #3 关键点列加 "RL post-training" 限定词：把"高效微调：单层 Transformer 逼近全参数效果"改为"RL post-training 高效适配：单层 Transformer 逼近全参数 RL 训练效果"，避免读者误以为是通用 SFT/PEFT。

P1（7-10 当天应做，雷达与 KB 主工作流同步）

  1. 候选表或趋势段加 work-queue 交叉引用：至少 1-2 处点 work-queue Top 15 条目名作为索引，例如 "AgentTether 与 KB 已收录条目 [2606.10749 Toward Secure LLM Agents] 同源，建议风险.md 富化时同步引用"。
  2. 趋势观察加数字锚点：把"Agent + RAG 融合仍是主轴"改为"Agent + RAG 融合仍是主轴：DynaKRAG 在 3 个多跳 QA benchmark 平均 F1 +X / AgentTether 修复 Y% 失败任务"，每段至少 1 个具体数字。

P2（7-10 当天可做，丰富雷达维度）

  1. 单层 Transformer (2607.01232) 升 ⭐☆：原文有具体的 layer-wise RL study + F1/accuracy 数字，且与 KB llm-infra.md 主题契合，是雷达里被低估的一条。
  2. 订阅源线索补 1 条：Substack / HN / X / GitHub trending 任一来源均可，目标至少 1 条强相关线索。
  3. 候选表低优 4 条（⭐☆☆ 4 条）每条补 1-2 句机制说明：现仅占位标题 + 来源 + 一行笼统价值，建议补 "适用场景 / 关键创新点 / 与 KB 已有条目的关系"。

P3（SOP 层告警阈值）

  1. 轻量 morning radar 设字节阈值告警：连续 ≥ 3 天 < 3500 字节的 morning radar 触发 SOP 告警（提示 Tom 是否需要切到标准模式或拆分主评 / 副评），避免"轻量模式自我重复"成为常态化偷懒借口。
  2. candidates JSON 摘要字段优先搬到 ⭐ 详细段：JSON 已含 F1 / 修复率 / benchmark 数等数字，雷达生成时优先消费 JSON 数字而非重写摘要，可显著降低密度被压缩的概率。

综合评分

  • 事实准确性 9.0
  • 深度 6.2
  • 与最新进展差距 6.8
  • 可读性 7.8
  • 选题质量 8.0
  • 误读 / 误导检查 无硬性翻车（仅 1 处用词精度软伤）
  • 综合 7.6 / 10

比 7-08（7.8）低 0.2 分：单产出日延续 → 不再加分；深度软伤未修复 + 订阅源线索归零 + RL Training 精度问题 + 字节量继续探底（3153 vs 3624），让"轻量日合理"的天花板被触及。7-09 是 Wave 2 第 4 天里第一次出现"轻量模式自我重复"信号——如果 7-10 仍是 3000 字节左右的 morning radar，需要在 SOP 层加阈值告警（见 P3）。

spark · 交叉互评 Wave 2 E3 · 2026-07-09 14:30 Asia/Shanghai