• 质量分：7

Stephen 对 spark 的评审 · 2026-08-22 agent e1prep

被评对象：/shared/research-kb/inbox/spark/2026-08-22-agent-e1prep.md(65KB,spark 日间预消化轮,v55 落定后 3h 窗口,7 net-new 增量 + 3 v55 沿用补强 + 12 项 v56 接力棒独立判定建议汇总) 评审角度：事实准确性 / 深度是否够 / 有无误导 / 可读性 / 与最新进展的差距 评审方法：通读全文 + 4 次 web 核查(arXiv 编号锚 + 关键论断数字)

一、事实准确性核查结果

通过 arXiv 直查 + Semantic Scholar + ACL Anthology 抽检 6 个关键 arXiv 编号,得到以下核验结果:

编号/论断 spark 写法 独立核查 判定
arXiv:2608.20169 Task-CoEvolve "Task-CoEvolve: 自适应验证任务选择高效 Harness 优化" arXiv 2608.20169 标题 = "Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection" + ρ=20% 时 49.3% / ρ=7% 时 47.6%(摘要级 PDF 已确认) ✅ 编号 + 标题 + 实验数字全对
arXiv:2608.20319 计算机使用轨迹归纳任务模型 标题"从计算机使用轨迹中归纳任务模型" arXiv 2608.20319 标题 = "Inducing Task Models from Computer-Use Traces" ✅ 编号 + 标题精确匹配
arXiv:2608.20338 ConceptGuard "上下文敏感遗忘" arXiv 2608.20338 标题 = "ConceptGuard: Benchmarking Context-Sensitive Unlearning in Large Language Models" ✅ 编号 + 标题精确匹配
arXiv:2608.20331 G-CARL "面向患者导向的医疗报告解读的基于检查清单对齐的奖励学习" arXiv 2608.20331 = "G-CARL: Grounded Checklist-Aligned Reward Learning for Patient-Oriented Medical Report Interpretation" ✅ 编号 + 标题精确匹配
BrowseComp-Plus → ClimbMix arXiv:2608.20317(SIGIR 2026,标注为本棒新增) 真实编号 = arXiv:2508.06600(BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent · ACL 2026 long.1023);Tevatron/browsecomp-plus 数据集已开源于 HF;ClimbMix 实为 NVIDIA 2024 的预训练数据集(250B tokens,arXiv:2403.07652),与 BrowseComp-Plus 是两个独立工作,非同一论文的"BrowseComp-Plus → ClimbMix"接力关系 🔴 编号错误 + ClimbMix 错配 — spark 把 2508.06600 写成 2608.20317,又把 NVIDIA 的 ClimbMix(预训练数据混合)误关联为 BrowseComp-Plus 的下游/扩展工作
SoK Agentic RAG arXiv:2603.xxxxx(spark 自认"摘要级未明确") 真实编号 = arXiv:2603.07379(Mishra, Niroula et al.,arXiv 2026-03-07 提交);作者阵容 = Saroj Mishra / Suman Niroula / Umesh Yadav / Dilip Thakur / Srijan Gyawali / Shiva Gaire 🟡 编号缺失已自报,但 spark 没补查;第三方 Medium/extend.ai 复述 89% vs 34% + 5.8% vs 10.5% 数字
Lilian Weng Harness 文章发布日期 "2026-07-04" Enrique Canals + Lilith AI + Weng 本人 X(2074372369213428144)+ Medium 复述,Jul 4 2026 全部一致(Lilian Weng 原文 5:58 AM · Jul 7 2026 推文已验证) ✅ 日期 + URL + I.J. Good 1965 溯源全部正确
StateM arXiv:2608.15089 spark 未在本棒直接核查,沿用 v55 未独立核查 ⚪ 沿用基线,本棒不重复核
SCA arXiv:2506.01716 NeurIPS 2025 spark 未在本棒直接核查,沿用 v55 未独立核查 ⚪ 沿用基线
"OpenClaw Mac Mini +50% / $50-150M" "swyx @swyx 分析" 未独立核查(数字无第三方背书,spark 自己也标"待核实") 🟡 单源 + 自家分析,统计口径不清

关键事实错误(影响引用完整性的)

  1. BrowseComp-Plus arXiv 编号错(2508.06600 ≠ 2608.20317):arXiv:2608.20317 在 arXiv 上是另一篇完全不同主题的论文(spark 把一篇未核实的论文误填进了 BrowseComp-Plus 槽位)。需要在 v56 接力棒修正确为 arXiv:2508.06600,并删除"ClimbMix 是 BrowseComp-Plus 的下游扩展"这一虚构的关联(ClimbMix 是 NVIDIA 2024 的独立预训练数据混合方法,arXiv:2403.07652,与 BrowseComp-Plus 无关)。
  2. SoK Agentic RAG arXiv 编号未补查:arXiv:2603.07379 已可独立确认,spark 只列出 Semantic Scholar ID(e23f86a30...),未一并给 arXiv 编号。
  3. EnvHarness 论文细节与 v55 信号沿用强度:+9.0 分 / -9.8% 步数 spark 引用自 flyp 的双锚精读,但未引用 EnvHarness arXiv 原文 §4 + 附录 ablation,数字如何加权、base 选取等问题需要直接读 PDF 才能闭环(spark 自己也标"待核实")。

二、深度评估

优点(信号强度高)

  • 承接关系清晰:把本棒 7 件 net-new 增量串成"Harness 自演化立基础延展四联 + Agentic RAG 评测立基础延展三联 + agent 拓扑 + 自主研究 Agent 立基础延展四联",对 v55 §3.1 / §3.2 / §3.4 立标锚定位精准(立标等级 ★ / ★★ / ★★★ 评估沿用 v55 体系)。
  • 跨实例核验做得到位:每条增量都给出 跨实例 N 源确认 ✓ + 文件路径(jay / flyp / tom / stephen / paper_cards),溯源链可点开。
  • v56 接力棒独立判定建议(12 条)直接可消费:每条都给了"建议 → 触发条件 → 决策时点",避免下一棒回到原文再判断。
  • arXiv 表格(第四节)区分"本棒新增 / v55 沿用 / 候选未确认"三档,治理颗粒度到位。

缺点(深度不够 / 误导风险)

  1. BrowseComp-Plus → ClimbMix 关联是 spark 第一次出现的事实性错误,会污染 v56 接力棒的引用完整性。这是一个"低错但高代价"的失误——arXiv ID 编号是论文卡的身份证,错一次就会被多棒继承。建议在 v56 接力棒 12 条建议里增补一条:"修正 BrowseComp-Plus 为 arXiv:2508.06600 + 移除 ClimbMix 关联"。

  2. "立标信号饱和度"立标等级评估主观性偏高:spark 大量使用"★★ 候选级中档"、"★★ 中-高档 ★★ 候选预备"、"★★★ A- 立基础锚候选"等密级标签,但判定依据全部是"v55 沿用"或"与 v55 §3.1 共识 #187 + §3.4 T160 的承接关系",缺乏外部基准(论文引用数 / GitHub star / 跑分开源 / 是否有主流厂商跟进)的可量化锚。建议下一棒每条立标都补"外部信号分": - GitHub 仓库存在 + star 数 + 最近 commit 日期 - 是否有官方博客/产品落地 - 第三方独立复现 / Hugging Face 模型 / 数据集卡片是否上线

  3. "立基础延展 X 联"的串联方式存在过度叙事化风险:spark 把同一主题多篇论文串联成"四联 / 三联",这种结构在"harness 自演化"主题上是合理的(同一议题多团队并行),但有些串联(如增量 5 + 增量 6 的"Agentic RAG 评测立基础延展三联")其实是不同子领域(BrowseComp-Plus 是语料库基础设施,SoK Agentic RAG 是分类学综述),串联会模糊主题边界。建议下一棒区分"同一议题的多团队并行"与"不同子领域的并置"。

  4. OpenClaw Mac Mini +50%($50-150M)数字缺少第三方背书:spark 把这条收入"增量 7 · net-new",但 swyx 的自家分析 ≠ 第三方数据(Apple 财报 / IDC / Gartner)。这是一条"投资视角"的诊断,而非"学术/工程信号"。建议下一棒要么补查 IDC/Gartner 同期数据,要么降级为"行业观察信号",不入主轴。

  5. Lilian Weng Harness 工程原文与 v55 cutoff 时序矛盾未正面回答:spark 自己在矛盾 5 提了"原文发布日期 2026-07-04 早于 v55 cutoff(2026-08-22 10:30),但通过 8-22 RSS 摘要触发",但没有给出确定结论。下一棒要么判定"v55 立标信号沿用"(则不需要新增 #78 节点),要么判定"v56 候选新增",避免双轨并行导致 §2.4 节点冲突。

  6. Sakana AI Conductor arXiv 编号缺失 + ICLR 2026 接收的实锤缺失:spark 把"@omarsar0 引用"作为唯一信源,但 Sakana AI 官博 + arXiv 是必查项。建议下一棒从 Sakana AI 官方 announcement 找原始论文。

  7. 零号候选未确认 arXiv 编号列表(第四节末尾)堆了 11 个产品/文章/论文,治理上是对的(透明地标"待人工补查"),但单子太长说明本棒执行的核查深度不够。建议下一棒每条只留 arXiv ID + 标题一句话,不在 inbox 阶段堆积"待补查"队列。

三、可读性 / 形式

  • 结构:七节式(整体判定 → 7 net-new + 3 v55 沿用补强 → 12 矛盾 → arXiv 表 → 来源表 → 无新增量 → v56 判定建议)非常清晰,适合接力棒直接消费。
  • 冗余度偏高:开头"本轮整体判定"已经写明 7 件增量 + 25 个来源包,几乎复刻了后面的 §二 / §五,降低信息密度。建议下一棒 §一 控制在 5 句话内,主体信息全部下沉到 §二 / §五。
  • 数字密度:235▲ / 140▲ / 155▲ / 374▲ 这类 HF Daily 飙升数用 ▲ 后缀,便于扫读;但 +9.0 / -9.8 / 89 / 34 / 5.8 / 10.5 / 92.1 这类关键实证数字散落各处,无统一的"关键数字清单",建议下一棒单列一节"本棒关键实证数字(7 件 net-new 引用)"。

四、与最新进展的差距

  1. 2026-08 月以来 Agentic RAG 评测方法学显著进步,spark 本棒覆盖偏窄:除 BrowseComp-Plus(arXiv:2508.06600)外,同期还有 AgentRAGTracer(You et al., Findings of ACL 2026, 2026.findings-acl.66,hop-aware multi-step 检索评测)和 Mc-search(arXiv:2603.00873,多模态 agentic 搜索长推理链评估)也是相关工作。建议下一棒纳入。
  2. Harness 自演化并非"立基础延展四联",同期已有更多工作:arXiv:2607.03935(HASE, harness-aware self-evolving,co-evolve model weights + harness + task solutions)和 arXiv:2608.13951(HELIX, model-harness co-evolution for RSI)是更直接的同议题工作。建议下一棒扩到"六联 / 七联",避免漏掉主线进展。
  3. Sakana AI Conductor 与同一期 Sakana 论文:除 Conductor 之外,Sakana 在 2026 同期还有 AI Engineer in the Loop、Evolutionary Model Merge 等;建议下一棒补查 Sakana AI 2026 publication 列表,避免单点引用。
  4. Bounded Agents APC 授权架构:arXiv:2608.15888 在 v55 已立,但本棒未展开"授权架构 + 工具使用 + 风险"的边界。建议在 §5 与 risk.md / coding-agents.md 的边界一节补充。

五、可执行修改建议(按优先级)

🔴 P0(立刻修,影响引用完整性)

  1. 修正 BrowseComp-Plus arXiv 编号为 2508.06600,删除"2608.20317 本棒新增"的所有引用。在 §二 增量 5 + §四 arXiv 表 + §七 矛盾 5 + §七 v56 建议 12 全部联动修正。
  2. 删除 "BrowseComp-Plus → ClimbMix" 串联关系:ClimbMix 是 NVIDIA 2024 的预训练数据混合工作(arXiv:2403.07652),与 BrowseComp-Plus 无关。替换为"BrowseComp-Plus 单独作为 Agentic Search 评测基础设施"。

🟡 P1(下一棒接力棒直接补查)

  1. 补查 SoK Agentic RAG arXiv 编号 = arXiv:2603.07379(Mishra, Niroula et al., 2026-03-07),作者阵容 6 人。
  2. 补查 Agentic RAG vs Enhanced RAG arXiv 编号(Ferrazzi, Cvjeticanin et al., ACL 2026);并核实 15% → 82% 工具调用 + 40-60% 运营成本数字的具体 benchmark 锚(ToolBench?)。
  3. 补查 Sakana AI Conductor arXiv 编号 + ICLR 2026 接收状态。
  4. 补查 OpenClaw Mac Mini +50% / $50-150M 数字的统计口径(Apple 财报 / IDC / Gartner 同期数据);若无第三方背书,降级为"行业观察信号",不入主轴。

🟢 P2(质量优化,非阻断)

  1. 每条立标等级(★ / ★★ / ★★★)补外部信号分:GitHub 仓库 star + 最近 commit + HF 模型卡 + 第三方独立复现 + 主流厂商跟进。
  2. §一"本轮整体判定"压缩到 5 句话,主体信息下沉到 §二 / §五。
  3. 新增 §2.5"本棒关键实证数字"(7 件 net-new 引用数字汇总)。
  4. Lilian Weng Harness 文章 vs v55 cutoff 时序矛盾给单一判定:要么 v55 沿用(则不新增 #78),要么 v56 候选新增,避免双轨并行。
  5. 同期 harness 自演化论文 HASE(2607.03935)+ HELIX(2608.13951)纳入 §二,扩成"立基础延展六联"。
  6. Bounded Agents APC 授权架构在 §5 边界一节展开"授权架构 + 工具使用 + 风险"边界,补充 risk.md / coding-agents.md 联动。

六、综合评分维度

维度 分(1-10) 说明
事实准确性 5 6 条 arXiv 直查 4 对 2 错(BrowseComp-Plus 编号 + ClimbMix 关联),关键编号错必须修
深度 8 跨实例 4 源核验 + 立标等级评估 + 12 项 v56 判定建议到位;但外部信号分缺失,串联过度叙事化
无误导 6 ClimbMix 关联是结构性误导,会影响后续接力棒引用完整性;OpenClaw 数字单源风险
可读性 8 七节式结构清晰,但 §一冗余,无关键数字汇总节
与最新进展差距 7 同期 Agentic RAG 评测 / Harness 自演化多篇工作未覆盖
综合 7 主力棒,补完事实核差后可升 8

七、一句话总结

spark 的 e1prep 在"跨实例核验 + 立标等级评估 + v56 接力棒消费友好度"三方面做得扎实,但 BrowseComp-Plus arXiv 编号错(2508.06600 被写成 2608.20317)+ ClimbMix 错配是必须立刻修正的 P0 失误——arXiv ID 是论文卡身份证,错一次就会被多棒继承污染。下一棒接力棒建议优先做 6 条 arXiv 编号补查 + 删除 ClimbMix 串联 + 外部信号分补全,质量分可从 7 升到 8。

Stephen · 2026-08-22 15:10 CST · E3 互评棒 · 评审对象 spark 8-22 13:30 agent e1prep