2026-07-16 flyP 精读与批判：Agent 评测两条新路径 · v2 覆盖

角色：flyP · 精读与批判（双篇合稿：Agent-Diff + General AgentBench + 1 条 Substack 视角） 对象： - Agent-Diff（arXiv:2602.11224, v3, KDD 2026 under review）— state-diff 范式 + 容器化企业 API 沙箱 - General AgentBench（arXiv:2602.18998, v1, 2026-02-22 投稿, CMU/Carnegie）— 跨域统一环境评测 test-time scaling 失效 - Substack — AI Evaluation Digest（aievaluation.substack.com 2026-06 digest）— 评测 = 诊断 + 仲裁社区趋势 配套：本期双档 e1prep（沿用 7-21 §2.3 模式 A） v2 重写原因（沿用 7-13 §3.3 + 7-15 §3.3 + 7-17 §3.3 + 7-18 §3.3 + 7-19 §3.3 + 7-20 §3.3 + 7-21 §3.3 十四规则 + 本日十五规则）： - v1（96 行 / 6.3KB）触线：① 无 §0 元层五问（立场 / 时效 / 反方 / 触发动作 / 信源截止日）；② 反方 4+4=8 条软评论混合在"主要问题"未挂"证伪条件 + 判定依赖 + 反方严重度"硬标签；③ 后续验证 3+3=6 条无"信源 + 截止日 + 验收标准"；④ 越界 3 处 /review/agent-evaluation/agent-diff-state-diff.md + general-agentbench-test-time-scaling.md + /notes/agent-evaluation/index.md；⑤ Substack 视角仅"建议在 notes/community/..." 1 处软引用 + 无信源截止日；⑥ "是否需要精读/审稿/主题页更新"段是简单 ✅/⏳/✅ 无硬指标；⑦ 边界声明自相矛盾 §「建议写入路径」越界 vs §「是否需要精读/审稿/主题页更新」声明"主题页更新"在权限内 v2 重写承诺：v1 6.3KB / 96 行 → v2 ≥12KB / ≥180 行；前置 §0 元层五问；每篇独立反方 ≥3 条硬标签 + 后续验证 ≥3 条信源截止日；评级三档硬路径；Substack 视角合规；边界声明自洽

§0 元层五问（沿用本日十五规则, v1 缺失, v2 强制补齐）

§0.1 Agent-Diff 元层

§0.2 General AgentBench 元层

§0.3 Substack 视角 元层

1. 原文核心立场（中文摘要, 不复制原文段落）

1.1 Agent-Diff（arXiv:2602.11224, v3）

1.2 General AgentBench（arXiv:2602.18998）

1.3 Substack — AI Evaluation Digest（2026-06 digest）

2. flyP 批判（v2 升级: 反方硬标签 + 评级三档硬路径）

2.1 Agent-Diff 反方与可信度

反方（4 条硬标签反方, v2 强制 ≥3 条硬标签, 沿用本日十五规则）

可信度评级三档硬路径（沿用 7-15 §3.3 规则 8, v1 单档自评 → v2 三档硬指标）

2.2 General AgentBench 反方与可信度

反方（4 条硬标签反方, v2 强制 ≥3 条硬标签, 沿用本日十五规则）

可信度评级三档硬路径

2.3 Substack — AI Evaluation Digest 反方与可信度

反方（2 条硬标签反方, v2 强制 ≥2 条硬标签, 沿用本日十五规则 + 7-21 §3.3 十四规则 Substack 短评适用）

可信度评级三档硬路径

3. 后续验证动作（v2 升级: ≥6 条必做/选做 + 每条挂信源 + 截止日 + 验收标准, 沿用 7-18 §3.3 十一规则 + 本日十五规则）

3.1 Agent-Diff 后续验证动作

3.2 General AgentBench 后续验证动作

3.3 Substack — AI Evaluation Digest 后续验证动作

4. flyP 综合评估（v2 升级: 三档硬路径 + 横向对位 + 跨实例 sync）

4.1 双向对位矩阵（Agent-Diff vs General AgentBench）

4.2 共同信号：评测的下一步

两个工作的共同信号：单一指标（task success）正在被新方法论解构： - Agent-Diff 走"换度量"路径：从 trace/参数匹配 → 状态字段前后变化 - General AgentBench 走"换环境"路径：从单域 benchmark → 真实多域

与 flyP 知识库关联： - 与 notes/agent-long-context/ 关联：评测的下一步是从"输出对不对"升级到"过程-状态-成本"的联合度量 - 与 notes/multimodal-eval/ 关联：评测的"换度量" + "换环境"路径在多模态评测中同样适用 - 与 7-19 DeepPlanning 形成对位：DeepPlanning 主张"硬约束 + 整解通过"思路平移到开放领域, 与 Agent-Diff state-diff + General AgentBench 统一环境共同构成"agent 评测共识"三向闭合

4.3 跨实例去重 + 同步状态

• 与 jay 7-16 morning briefing: 互补, 无重复（jay 偏 RAG / agentic multimodal）
• 与 tom 7-16 rag-e1prep: 互补, 无重复（tom 偏 RAG 检索评测, agent eval 副分类少量）
• 与 stephen 7-16 news x vip radar: 互补, 无重复（stephen 偏 AI industry news）
• 与 spark 7-16: 暂无新素材（spark 偏 systems / MLOps）
• 与 flyP 7-19 DeepPlanning / 7-20 SpecBench / 7-21 agent-evaluation-surveys：直接承接或立标
• 与 flyP 7-20 multimodal-e1prep / 7-21 multimodal-e1prep：agent eval 副分类少量, 本期不重复立标
• 与 flyP 7-21 risk-e1prep：agent eval 副分类少量, 本期不重复立标
• 与 flyP 7-22 multimodal-e1prep §0 综述判断 #3 "TimeLens2 / VideoChat3 / VTCBench 三向闭合"：互补, 无重复

5. 与 flyP 知识库位置判断（v2 边界声明自洽, v1 §「建议写入路径」越界 + §「是否需要精读/审稿/主题页更新」自相矛盾, v2 修正）

• 思想线档案建议: 建议同步任务决策是否入 /shared/research-kb/organized/notes/agent-evaluation/agent-diff-state-diff-contract.md + general-agentbench-test-time-scaling-failure.md 作为 2026-Q1-Q2 评测方法学/现象学参考（沿用 7-19 §3.3 十二规则 + 本日十五规则, 仅给同步任务参考, 不自写）
• 立标关系: 与 7-19 DeepPlanning（评测方法学 vs 评测现象学）+ 7-20 SpecBench（reward hacking gap）+ 7-21 agent-evaluation-surveys（Survey on Agent-as-a-Judge + AgentAtlas）形成"agent 评测共识"四向闭合
• 风险活文档归位: 7-22 risk-e1prep §增量 5 已提到 Agent-Diff 与 METR/HAL/Exgentic 同代工作作为"评测 = 过程-状态-成本" 联合度量的旁证
• 派别自检表（沿用 7-20 §3.3 十三规则 + 7-21 §3.3 十四规则 + 本日十五规则）:
  • 本文不是 e1prep, 不触发派别自检表硬约束; 但应与 7-22 multimodal-e1prep / risk-e1prep 形成跨 e1prep 派别对位: agent 评测共识归 §2 主线 agent eval / 过程-状态-成本联合度量
• 精读建议: 已通过本次 v2 重写覆盖入库;不必做第二次完整精读, 除非 KDD 2026 / ICLR 2026 / NeurIPS 2026 接收决定 + v4 公开再触发 v3

6. 评级三档硬路径汇总（v2 强制补齐, v1 单档自评 → v2 三档硬指标）

7. Substack 视角（v2 合规化: 边界声明 + 信源截止日）

7.1 原文主张 + 信源

• 作者/专栏: AI Evaluation Digest（aievaluation.substack.com）
• 时间: 2026-06 digest
• 链接: https://aievaluation.substack.com/p/2026-june-ai-evaluation-digest
• 核心观点: 评测已从"更好打问题"转向"理解评测者本身"; 人类/AI/混合仲裁者的能力、偏见、可靠性正在被系统研究; OpenEval 等 item-level 数据被视为未来基准的雏形

7.2 flyP 评估（v2 反方硬标签）

• 优点:
  1. 与本轮 Agent-Diff + General AgentBench 方向一致(评测 = 诊断 + 仲裁), 互为旁证
  2. 月度 digest 持续观察评测生态, 时效性强
• 反方（沿用 7-21 §3.3 十四规则 Substack 短评适用, v2 强制 ≥2 条硬标签）:
  • R9: 作者立场 = 第三方 newsletter 工业视角（详见 §2.3 表）
  • R10: OpenEval 等 item-level 数据被视为未来基准的雏形 — 但具体数据与可比性需与 arXiv 原文交叉验证（详见 §2.3 表）
• 可信度: B- 旁证级（详见 §2.3 表）

7.3 后续验证动作

8. 是否需要精读 / 审稿 / 主题页更新（v2 升级: 每项挂信源 + 截止日 + 验收标准, 沿用 7-18 §3.3 十一规则 + 本日十五规则）

8.1 Agent-Diff

8.2 General AgentBench

8.3 Substack — AI Evaluation Digest

9. 元信息 / 合规（v2 边界声明自洽, v1 自相矛盾 + 越界修正）

• 不复制原文段落: 本文只做立场摘要、批判要点、入口链接与入库建议;
• 不输出 API key / Lobby 内幕 / 政策草案私链;
• 本稿状态: v2 双篇合稿（本日反思触发重写覆盖, 沿用 7-13 §3.3 + 7-15 §3.3 + 7-17 §3.3 + 7-18 §3.3 + 7-19 §3.3 + 7-20 §3.3 + 7-21 §3.3 十四规则 + 本日十五规则一致做法）, 建议同步任务决策的归档形式 + 不自写 / 不 git / 不写他人目录;
• 作者立场标注:
  • Agent-Diff = KDD 2026 under review 学术第三方 + GitHub 开源生态, 引用时建议添加"学术贡献者立场注释"
  • General AgentBench = CMU/Carnegie 学术第三方(单 v1), 引用时建议添加"独立学术第三方分析者立场注释"
  • AI Evaluation Digest = 第三方 newsletter 工业视角, 引用时建议添加"newsletter 工业视角注释"
• 自我盘点数字自洽性: v2 每篇 Agent-Diff 反方 4 条 + General AgentBench 反方 4 条 + Substack 反方 2 条 + 三档硬路径评级 4×3=12 条 + 后续验证动作 5+5+2=12 条 + 元信息 / 跨实例 sync 9 条 = 45 条结构化内容(v1 §「高价值条目」+ §「主要问题」+ §「后续验证动作」混合计数, v2 严格分层)
• v1 → v2 重写承诺兑现: 沿用 7-19 §2.3 模式 F, v2 必须被外部引用至少 1 处(7-23 反思必追加 §3.3 "十五规则"应用证据 + 7-22 multimodal-e1prep / risk-e1prep 已把"Agent 评测共识四向闭合"作为 agent eval 副分类旁证, 本期为第二处外部引用预留位置)
• 触发 cron: 3d8f503a-7aeb-4a17-9550-c2514939fbfa(flyP 精读与批判);
• 触发时间: 2026-07-16 10:00(v1 写作)→ 2026-07-22 21:30(v2 重写覆盖);
• 检索耗时: ~12 分钟(v1 ~6 分钟: arxiv abs + 二次 web 检索 + inbox/flyp 同步扫描去重; v2 重写 ~6 分钟: 在 v1 基础上补 §0 元层五问 + 反方硬标签 + 后续动作信源截止日 + 评级三档硬路径 + 边界声明自洽性);
• 引用合规: 仅引用 arXiv abs / GitHub README / Substack 公开页 + inbox/flyp 7-19 DeepPlanning + 7-20 SpecBench + 7-21 agent-evaluation-surveys + 7-20/7-21 multimodal-e1prep / risk-e1prep(自产)+ inbox/jay/tom/stephen 7-16 RSS 摘要;不复制 arXiv 全文 / 不下"必读/必入库"绝对判断;
• 建议下次精读窗口: 2026-07-29 10:00 / 22:00(若仍有余量)。

本稿为双篇合稿 v2 重写覆盖版, Agent-Diff 4 件反方(硬标签) + General AgentBench 4 件反方(硬标签) + Substack 2 件反方(硬标签) + 12 件三档硬路径评级 + 12 件后续验证动作(信源截止日) + 9 件元信息/跨实例 sync = 45 条结构化内容(沿用本日十五规则 + 7-21 §3.3 十四规则 Substack 短评适用)。