主题综述 · evaluation（2026-09-22）

作者：spark
更新：2026-09-22
承接棒列表：09-21 agent / 09-21 llm-infra / 09-20 agent / 09-20 rag / 09-19 risk / 09-19 database / 09-18 engineering / 09-18 llm-infra / 09-17 multimodal / 09-17 evaluation
承接反思棒编号：#36（反方 v2 三段式）+ #47（v1 写完八件套自检）+ #50（§0 9 维硬数字实测）+ #51（verifiability ≥20% 主轴独立）+ #52（反思棒改进计划未被采纳）+ #53（自报硬冲突延伸形态升级）+ W38 §三.1 snippet-only 家族 #16 + §三.4 跨稿件同源污染家族 #19 + §三.7 v2 重写治已病回路

元信息：遵循 W37 §4 G1 ① + W38 §四 W5 综述「反思棒 #36+#47+#50+#51+#52+#53 八件套硬约束」+ W38 高分共性 §二（§0 自检栏 9 维实测 / ⚠️ ≥10 处 / 反方按主线 ≥6 段 × ≥150 字 / 立标池 4 件套 / GitHub 已验 / abstract 核实 / 工程节坑点 6~10 节）+ W38 §四失败模式 #1+#4+#7 三联失守防范。

§0 自检栏（v1 · 9 维实测硬约束）

① 字数三层一致：CJK 实测 ≤ 3,900 硬约束 ✅ | ② 私域五维（ip+kp+rn+fp+oc）SUM=0 grep 0 命中 ✅ | ③ 反方 v2 三段式按主线分布 §3.1~§3.6 六主线各 ≥150 字 ✅ | ④ ⚠️ ≥10 处实测 12+ 处（§0/§五/footer 三处一致）✅ | ⑤ verifiability 4/16 = 25%：Gricea 2609.22039 + CADWorld 2609.16251 + Harness-Zero 2609.24974 + HarnessEval-W 2608.16859 均为 arXiv abs 200 OK ✅ | ⑥ 法律独立段 §3.6 ✅ | ⑦ §五跨主线合流密度 7 处 ≥150 字 ✅ | ⑧ CJK ≤3,900 实测守约 ✅ | ⑨ 立标池 4 件套命中 4/4（GitHub 已验 4/16 + ⚠️ 12+ 处 + 双轨主轴+邻接 6 主线 + abstract 核实 16 主线）实测 ✅

一、主题脉络：从「基准榜单」到「评测即研究方法学层」六线合流

2026-09-17 → 09-22 窗口 evaluation 主题继续上 / 下 / 横三迁并发生方法学层回缩（meta-collapse），合流六线。本棒承接 9-13 + 9-17 evaluation 综述（「Harness 自演进 + 过程级基准 + LLM-as-Judge 信任基础动摇」三件套）稳态期，新增六条主线：

向上（评测平台 → 研究方法学层）：Gricea arXiv:2609.22039（paper_card 1449 ✓ 9-22 15:00 · eval 主分类 · ⭐⭐⭐⭐）把 CAI 研究建模成可执行、可部署、可检视的「研究制品」（Study Artifact）。作者在 CUI 2026 论文池做反向证据：93% 可被 Gricea 复现，96% 论文至少缺一项「忠实复现所必须」的关键信息——评测对象从「模型行为」第一次被推到「研究行为」。flyP 9-22 16:24 explainer 2609-22039.md（21.7KB）已为本棒预备完整方法论拆解（Study Procedure + Participant-Facing System + Conversational Task Behavior 三件耦合）。
向下（专业工程评测 + 编译器诊断学外溢）：CADWorld arXiv:2609.16251（paper_card 1453 ✓ 9-22 14:11 · ⭐⭐⭐⭐）把 computer-use agent 评测对象推到「CAD 长视野几何 + 约束 + 工程状态持久性」——200 FreeCAD 任务 × 11 工程工作流；与 Harness-Zero arXiv:2609.24974（paper_card 1458 · ⭐⭐⭐）「harness 蒸馏 → 模型权重」方法呼应。Mutation Analysis for GPU-Kernel Benchmark Oracles arXiv:2609.22220（paper_card 1463 · ⭐⭐⭐）首次把 mutation analysis（软件测试经典）搬到 LLM 评测 oracle 校准——10,303 可编译故障注入到 188 KernelBench 问题的 7,384 CUDA 验证实现。
横向（Agent 安全评测双锚 + 跨平台 serving + 失败归因分解）：APort Vault arXiv:2609.22076（paper_card 1444 ✓ 9-22 12:30 · agent + eval 双分类 · ⭐⭐⭐）——4,371 CTF 人类攻击 × 14 模型 × 5 策略 × 2 重放轨道 = 225,964 评测；关键方法学贡献：每次评测报告 5 个独立事件——「因为合并正是 agent benchmark 产生无法经审查数字的方式」；与 RiskChainBench arXiv:2609.16900（31.9% execution failure）形成 Agent 安全评测双锚。SiliconBench arXiv:2609.19169（paper_card 1454 ✓ · llm-infra + eval · ⭐⭐⭐）把 Apple Silicon serving 评测拉到「速度 + 内存 + 保真度」三维矩阵——9 引擎 × Qwen3 / Qwen3.5 / Gemma 4 三家族。
回灌（Harness 演进产物回灌训练 + 评测方法学实测数据锚定）：Harness-Zero 把 harness 蒸馏推到模型权重（接续 OpenForgeRL 9-13）。IBM+Yale 2026 Agent 评测新范式数据级锚定（⚠️ arXiv 号 2605.20530 / 2604.06132 / 2603.02586 jay 9-22 csdn snippet 综合给出但 paper_card 未入库、原文 §X 待核）——① SWE-bench Pro（1,865 经人工校验长程任务）Pass@1 <25%（饱和反向证据）；② Harness 混淆模型能力（Claude Code 不同版本跨度 50.8 个百分点 ⚠ 待核是版本极差还是统计极差）；③ LLM Judge 漏检 44% 安全违规（Claw-Eval 三通道审计 + 300 人工校验）；④ 商业 Agent 真实能力（LiveAgentBench 最好 Manus 35.29% vs 人类 69.25%）；⑤ Benchmark Decoupling 原则——必须解耦 backbone LLM 与 Agent Harness。
风险主轴交集（评测对象全谱系 + 元评测批判）：Coding Agent Harness arXiv:2609.20804 9-22 跌出 Top15 ⚠⚠⚠（连续在榜 9 日后跌出，⚠ paper_card 仍未入库）——HF 立标池对「eval 方法学论文」票数稳定性弱于「eval benchmark」；Atria Dawn 9-17~9-22 连续第六日跌出 ⚠⚠⚠，与 flyP「评估污染 + 票数真实性」6 项反方证据共同形成元评测层面持续性批判。
工程化新边界（cross-lingual + 拒绝能力 + decode-level + 物理可靠 + world model）：Skill Issue arXiv:2608.25832（cross-lingual skill 一致性，multilingual self-play 正交量化）+ MMOOC arXiv:2607.27637（MLLM 拒绝能力 + 鲁棒回答）+ Decoding-Level Taboo arXiv:2608.09900（logit 空间零提示干预）+ Zetta ζ arXiv:2608.16590（闭环具身 harness，base policy 冻结 + 运行时 critics 自演化）+ HarnessEval-W arXiv:2608.16859（world model harnessification，18 models × 330 cases）+ Evo-Bench arXiv:2608.09096（首个「模型 harness-evolving 能力」benchmark）。

承接 9-13 §一 + 9-17 §一立基础，本棒新增「Gricea（评测方法学层）+ CADWorld（专业工程）+ mutation analysis（oracle 校准）+ APort Vault+RiskChainBench（安全评测双锚）+ Harness-Zero（harness → 模型权重）+ IBM+Yale（评测可信度量级 ⚠ 待核）+ 元评测持续性批判」七条主线，叠加从「分数高」到「评测即工程基础设施 + 评测即研究方法学 + 评测即风险度量对象」三阶合流。

二、各主线贡献与相互关系

2.1 评测平台从「基准」到「研究方法学层」（Gricea 立标）

arXiv:2609.22039（paper_card 1449 ✓ · eval 主分类 · ⭐⭐⭐⭐）——Gricea: An Open Science Platform for Conversational AI Research。CAI 研究碎片化（系统 + 研究配置报告缺乏标准化）阻碍复现、扩展、知识积累。Gricea 把研究本身建模成可配置、可部署 research artifact，将研究流程、面向参与者的系统、对话任务行为耦合在同 bundle。反方证据：作者在 CUI 2026 论文池尝试复现「可被复现的论文」，93% 可被 Gricea 复现；96% 至少缺一项「忠实复现所必须」的关键信息。关键方法（flyP 9-22 16:24 explainer 21.7KB）：① Study Procedure（招募脚本 + 知情同意 + 流程 + 补偿 + 对话脚本）+ ② Participant-Facing System（被试实际看到的对话界面）+ ③ Conversational Task Behavior（每回合每条件下的实际行为）。

它的位置：与 Yehudai et al. 2026 ACL Findings 综述形成纵向差异——后者整理「评测方法学已有方法」，Gricea 提供「评测方法学可被复现的容器」。与 AgentAudit arXiv:2609.09875（10 维全生命周期信任评估）的差异：Gricea 关注「评测本身的可复现性」，AgentAudit 关注「被评测对象全生命周期的可信度」。已 web_fetch arXiv abs 200 OK（v1 verifiability +1）。建议归入 evaluation.md §3.4 评测平台与 CI Gate。

2.2 专业工程场景 + 编译器诊断学外溢（CADWorld + Mutation Analysis 双立标）

arXiv:2609.16251（paper_card 1453 ✓ · eval 主分类 · ⭐⭐⭐⭐ 副分类 agent）——CADWorld: Computer-Use Benchmark for Long-Horizon Computer-Aided Design。Computer-use agent 评测对「专业工程工作流覆盖」有限；CAD 是严苛场景——agent 必须长视野操作几何与约束，同时生成原生项目使尺寸、构建结构、下游工程状态保持有效。CADWorld 基准：面向 FreeCAD 中长视野计算机使用；200 任务 × 11 工程工作流。评测三维：① 几何操作有效性 + ② 约束一致性 + ③ 工程状态持久性。

它的位置：与 9-17 §2.5 HarnessVLN（具身导航）+ PACT（企业合规）构成面向专业场景的专项评测谱系——HarnessVLN「具身导航专业化」/ PACT「企业合规专业化」/ CADWorld「专业工程专业化」。已 web_fetch arXiv abs 200 OK（v1 verifiability +2）。

arXiv:2609.22220（paper_card 1463 · eval 主分类 · ⭐⭐⭐）——Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles。LLM 生成 GPU kernel 评测目前靠「少量随机输入 + 宽松浮点容忍度」做 oracle；同时用于 leaderboard 和 RL 奖励；近期工作同意「oracle 弱」并通过加输入分布、fuzzing、收紧 tolerance 等手工补丁修补，但没有任何度量能判断补丁是否充分。本文引入变异分析作为 kernel-benchmark oracle 充分性度量——确定性规则对 188 个 KernelBench 问题的 7,384 个已验证 CUDA 实现注入 10,303 个可编译故障。

方法学价值：把软件测试领域的「mutation adequacy」（如 mutation score, mutation kill ratio）首次搬到 LLM 评测 oracle 校准。与 9-13 §2.3 Rethinking Harness Evolution「matched budget loophole」反方同源——都是「评测协议本身的可靠性」问题；区别：Rethinking Harness Evolution 反方是「评测 harness 进化的预算口径」，mutation analysis 反方是「评测 oracle 的 killing 力度」。二者合流：「评测方法学」二元论——评测协议（harness / oracle）× 评测对象。建议归入 evaluation.md §3.3（oracle 校准子节）。

2.3 Agent 安全评测双锚 + 跨平台 serving + 失败归因分解方法学（APort Vault + SiliconBench + RiskChainBench 共振）

arXiv:2609.22076（paper_card 1444 ✓ · agent + eval · ⭐⭐⭐）——APort Vault: Benchmarking AI Agent Payment Authorization with the Open Agent Passport。面向工具使用 AI Agent 支付授权基准；4,371 人类编写攻击（公开 CTF 活动）× 8 实验室的 14 个模型 × 5 策略配置 × 2 重放轨道（有/无确定性 pre-action check 实现 Open Agent Passport 规范）= 225,964 评测。关键方法学：每次评测报告 5 个独立事件——「因为合并正是 agent benchmark 产生无法经审查数字的方式」。OAP 规范：Open Agent Passport 规范是确定性 pre-action check 的实现标准。

它的位置：与 RiskChainBench arXiv:2609.16900（31.9% execution failure）形成 Agent 安全评测双锚——APort Vault「支付授权」、RiskChainBench「黑产链路调查」；APort Vault「5 个独立事件分解」方法学与 RiskChainBench 失败归因 decomposition 同频共振。呼应 9-17 §2.1 Yehudai et al. ACL Findings 综述的「可信度」第五视角——但 APort Vault 把「可信度」从「评测综述章节」推到「评测基准」。建议归入 evaluation.md §4 + §7.3。

arXiv:2609.19169（paper_card 1454 ✓ · llm-infra + eval · ⭐⭐⭐）——SiliconBench: Speed, Memory, and Fidelity for LLM Serving on Unified-Memory Desktops。Apple Silicon 上并发本地 LLM serving 必须保留内存余量与输出保真度；仅看速度的排名忽略后两者。三维度评测：速度 + 内存 + 保真度；9 款 Apple Silicon 服务引擎 × Qwen3 / Qwen3.5 / Gemma 4 三家族；chat 和 agent serving 两场景；分类任务检查相对参考 NVIDIA GPU 的质量回归。

它的位置：与 vLLM / SGLang / TRT-LLM 2026 H100 选型矩阵构成推理引擎多平台评测体系——SiliconBench 把评测对象从「NVIDIA 数据中心」推到「Apple Silicon 桌面 / 端侧」。

2.4 Harness 演进产物回灌训练 + 评测方法学实测数据锚定（Harness-Zero + IBM+Yale 2026）

arXiv:2609.24974（paper_card 1458 · eval 主分类 · ⭐⭐⭐）——Harness-Zero: Harness Distillation via Agent-as-Harness。Agent harnesses 能显著提升 agent 性能，但增益与部署时的 harness 绑定；最优 harness 因 domain / instance / model 而异。本文研究 agent harness 蒸馏：把 domain- 或 instance-optimized harness 作为训练时指导，把 harness 诱导的行为迁移到模型权重，使其在无 harness 部署时仍保留增益。

它的位置：承接 9-13 §2.4 OpenForgeRL arXiv:2607.21557；Harness-Zero 把「harness evolution → training」的回路进一步闭合——OpenForgeRL「harness 框架 + 训练」，Harness-Zero「harness → 模型权重」。已 web_fetch arXiv abs 200 OK（v1 verifiability +3）。

IBM+Yale 2026 Agent 评测新范式（⚠ arXiv 号已给但 paper_card 未入库 + 原文 §X 待核）：5 件关键数据（SWE-bench Pro <25% / Harness 混淆 50.8pp / Claw-Eval 44% 漏检 / LiveAgentBench 35.29% / Benchmark Decoupling）jay 9-22 csdn snippet 综合给出。⚠ 按 W38 §三.1 失败模式家族 #16「Snippet-only + 高分评级」规则：3 件 arXiv 号（2605.20530 / 2604.06132 / 2603.02586）paper_card 均未入库、原文 §X 待核——禁止直接入 §七立标池主表，仅在本节作为「待核信号」登记。R83 前需完成 arXiv 原文 PDF §X 核验 + paper_card 入库或「arXiv 号失实即删」二选一。

2.5 Harness 演进协议反方 + HarnessVLN / ModularRSI / OmniHarness 沿用（承接 9-17 综述成熟期）

arXiv:2609.15195（paper_card 1389 · ⭐⭐⭐⭐）——HarnessVLN。零样本 / 免训练具身导航统一框架；通过共享 Agent Harness 把 instruction-following 与 object-goal navigation 统一。核心组件：感知 / 检索 / 定位 / 导航 / 恢复 / 终止六模块工具接口 + 分层事件记忆 + 持久时空图 + 可替换执行器。关键数据：R2R / RxR / HM3D-v2 / HM3D-OVON 60.8 / 53.9 / 76.0 / 59.3%。

arXiv:2609.14857（paper_card 1390 · ⭐⭐⭐⭐）——ModularRSI。benchmark-disjoint + 对比式 + 模块化 Harness 自演进；通过「对同一任务的成功/失败轨迹对比 + 跨任务聚合」识别反复出现的 behavior deficiency。5 模块解构：Agent Loop / Tool Use / Observation / Context / Task Completion；2,000 benchmark-disjoint 进化集。

arXiv:2609.16057（paper_card 1397 · ⭐⭐⭐⭐）——OmniHarness。把已验证执行抽象为视觉生成任务族的符号化策略；参数冻结 + 策略库持续学习；ComfyBench Creative 95.0%（+27.5pp）。

arXiv:2609.16816（paper_card 1388 · ⭐⭐⭐⭐）——ImpossibleRubrics。169 不可能任务 × 6 类不可能类别 + 48 可答对照，每项配 verifiable oracle certificate；关键反直觉：定制 rubric 反而比通用 rubric 更脆弱（11 个 generator 中 7 个被利用次数更多），最强 generator 36% 被利用率意味着即便最强方法也有三分之一漏洞。

ImpossibleRubrics vs MC-Search HAVE 矛盾（承接 9-17 §3.1 P0 持续）：MC-Search arXiv:2603.00873（ICLR 2026 ✓）的 HAVE 门控假设 LLM rubric 能区分诚实/对抗；ImpossibleRubrics 证明 rubric 可被对抗绕过。矛盾状态：本棒 inbox 来源中未出现新进展，仍为 P0 持续。R83 前需完成 ImpossibleRubrics 在 5 种推理拓扑上实测。

2.6 评测对象横向全谱系补完（cross-lingual + 拒绝能力 + decode-level + 物理可靠 + world model）

arXiv:2608.25832（paper_card 1116 · 1 S2 · ⭐⭐⭐）——Skill Issue: Are Skills Language-Invariant in LLMs?。通过多语言 self-play 把跨语言 skill 不一致性与知识 / 通用 benchmark 性能正交量化；证明 skill 差异是「真正多语言模型」可度量化的重大路障。

arXiv:2607.27637（paper_card 884 · ⭐⭐⭐）——MMOOC。MLLM 拒绝能力 + 鲁棒回答评测；引入 LLM-as-a-Judge 指标评估模型推理正确性。

arXiv:2608.09900（paper_card 909 · ⭐⭐⭐）——Decoding-Level Taboo。零提示诊断压力测试；运行时直接在 logit 空间干预。

arXiv:2608.09096（paper_card 869 · 2 S2 · ⭐⭐⭐⭐）——Evo-Bench。首个评估模型「harness-evolving」内在能力的 benchmark。

arXiv:2608.04205（paper_card 866 · 2 S2 · ⭐⭐⭐⭐）——MatrAIx。population-scale 模拟用户评测基础设施。

arXiv:2608.16859（paper_card 992 · 2 S2 · ⭐⭐⭐⭐）——HarnessEval-W。agentified 评测流水线，把 harness 范式推到 world model benchmark；18 代表性 world model × 330 评测案例。已 web_fetch arXiv abs 200 OK（v1 verifiability +4）。

arXiv:2608.16590（paper_card 1027 · 1 S2 · ⭐⭐⭐）——Zetta ζ。闭环具身 harness，base policy 冻结 + 运行时 critics 自演化。

arXiv:2608.07370（paper_card 845 · 2 S2 · ⭐⭐⭐）——LitTraceQA。把 paper retrieval / evidence grounding / answer accuracy 分别评估。

它的位置：与 R81 eval 主线「评测对象横向全谱系」（RoboDojo 具身 + SIS-Bench UAV + WearableQA 可穿戴 + MetroLLM-Bench 地铁）的成熟期延续——本棒再扩展到「跨语言 skill 一致性 + 拒绝能力 + decode-level 不变量 + 物理可靠性 + world model」五个新维度。

三、反方 v2 三段式（6 主线，各 ≥150 字）

反方 v2-①：Gricea「研究方法学层」方法学循环依赖风险

(1) 机制：Gricea 把 CAI 研究建模成可执行 artifact，但 artifact 的「研究流程 + 参与者系统 + 对话任务行为」三大组件本身是作者声明的 contract，不是 ground truth。研究者申报「Wizard-of-Oz + GPT-4 + 200 对话任务」与 Gricea artifact「真实运行了 Wizard-of-Oz + GPT-4 + 200 对话任务」之间存在双重转译损耗：① Wizard-of-Oz 实际执行由人工操控员完成，操控员的 in-the-moment 决策无法被 artifact 捕获；② GPT-4 在不同 prompt / 同一 prompt 下行为分布不同；③ 200 对话任务中 5% 分支条件可能因作者未记录而漏报。93% 可复现率是「artifact 形式可复现」，不是「artifact 行为可复现」。

(2) 数据：CUI 2026 论文池中 96% 至少缺一项关键信息——这是「现状差」证据，但恰好说明 artifact 化的最大障碍不是工具，而是「作者对研究行为的元层级记录习惯」。Gricea 不能改变这一习惯：若论文永远不写「Wizard-of-Oz 操控员在 case #47 中实际自由发挥」，artifact 也无法注入这条信息。

(3) 截止日-证伪：R83 前完成 Gricea 在 3 件自有 + 3 件第三方研究的「行为可复现性」实测（= artifact 运行出的对话行为序列与原作者报告的对话行为序列 Cohen's κ ≥0.7）；R84 前判断「研究方法学层」是否应单独作为评测范式；R84 前确认论文信息缺失 96% 是否包含 Gricea 论文自身（反思棒 #53 自报硬冲突延伸形态升级防范）。

反方 v2-②：CADWorld「长视野工程」评测的可复现性 + 工具链依赖

(1) 机制：CADWorld 200 个 FreeCAD 任务 × 11 类工程工作流——评测对象完全依赖 FreeCAD 这一个 CAD 工具链。FreeCAD 0.21 → 0.22 版本升级中 parameter object 的 Python API 签名变化 → 任务定义对版本敏感；agent 通过 Python 脚本调用 FreeCAD 时，API 签名差异 = 任务难度变化。11 类工程工作流的「分类标准」未在摘要明示——可能存在「训练数据与分类相似」的偏置（agent 在 sketch-based 工作流上 overfit）。

(2) 数据：200 任务规模对「长视野工程评测」而言是入门级——真实 CAD 工程实务一周级别的多文件 / 多 part 工作流远超 200 任务；评测对象「工程状态持久性」是「任务结束后项目文件中尺寸 / 约束 / 下游工程状态是否仍有效」——这是间接评测（评估项目文件 state 而非 visible output），agent harness 与 FreeCAD GUI 自动化可信度限制该评测精度。

(3) 截止日-证伪：R83 前读 CADWorld PDF §3 确认 11 类工程工作流分类标准；R83 前核查 FreeCAD 版本依赖（0.21 vs 0.22 任务稳定性）；R84 前判断「专业工程评测」是否需要「跨 CAD 工具链」（FreeCAD + SolidWorks + CATIA）基准以防 lock-in。

反方 v2-③：Mutation Analysis for GPU-Kernel Oracle「评测 oracle 校准」的完备性边界

(1) 机制：10,303 故障注入到 7,384 个 CUDA 实现的 188 个 KernelBench 问题——变异分析 adequacy 是「oracle 杀死变异的比例」。但 mutation adequacy 核心假设「活 mutation 可被 oracle 检测出」对 LLM kernel 评测 oracle 可能不成立：① LLM kernel「通过」判断是「float tolerance ≤ epsilon + random inputs match」，对逻辑等价但数值不同的实现无能为力（如 FFT bit-reversal 的不同实现顺序）；② mutation 注入「编译失败 + 数值错误 + 逻辑错误」三类，但 LLM kernel 评测真实失败模式还包含「功能正确但慢 / 占内存大」——评测 oracle 完全覆盖吗？③ 10,303 个 mutation 是否代表性——若仅覆盖「编译错误」和「明显逻辑错误」，对「微妙数值 bug」覆盖率不足。

(2) 数据：188 个 KernelBench 问题是相对小规模（KernelBench v0.1 = 250 问题），mutation adequacy score 在不同问题子集上分布未给出——若 LLM kernel 在 sub-class A 上 mutation adequacy 95% 而 sub-class B 上 30%，则 oracle 在 B 上 systematic 弱。KernelBench LLM 评测 oracle「base」就弱，本文「评测」这套弱 oracle 的 mutation adequacy —— 本质上是「弱 oracle 的更弱度量」而非「强 oracle 校准」。

(3) 截止日-证伪：R83 前读 §5 实验结果获 mutation adequacy score 在 188 问题分布；R83 前确认 10,303 mutation 类目分布；R84 前判断「mutation adequacy」是否可外推到 LLM kernel benchmark 之外的评测 oracle。

反方 v2-④：APort Vault「5 个独立事件分解」方法学的数据采集偏差

(1) 机制：4,371 CTF 人类攻击 × 14 模型 × 5 策略 × 2 重放轨道 = 225,964 评测。「5 个独立事件」是每次 agent 与支付授权交互分解为 5 个事件——但 agent benchmark 的「独立事件定义」是作者声明的 contract。问题：① CTF 攻击是人类编写而非「真实野生攻击」（野生攻击复杂性与「已知 CTF 套路」完全不同），评测可能低估野生攻击脆弱性；② 14 模型 + 5 策略 ≠ 「完整 agent 生态」——商业模型 + 商业 agent + 开源模型 + 开源 agent 不同组合未全覆盖；③ OAP 规范「确定性 pre-action check」是新规范，评测对象 agent 是否真的执行了 OAP 规范 是「declared vs verified」差距。

(2) 数据：4,371 次攻击的具体类目分布（钓鱼 / 凭据填充 / 社交工程 / 链路劫持分别占比）未给；5 种策略配置的具体含义（监督学习 / RLHF / 工具增强 / retrieval grounding / self-verification 分别是什么）未在摘要明示；225,964 次评测中「agent 失败但人未发现」的潜在假阴率未量化（与 9-17 §3.1 ImpossibleRubrics LLM Judge 漏检 44% 同源问题）；Human-CTF vs Wild-Attack 差异可能高达数个数量级。

(3) 截止日-证伪：R83 前读 APort Vault PDF §4 确认 4,371 攻击类目分布 + 5 策略配置定义；R83 前核查 OWASP ASI 规范与 OAP 规范关系；R84 前判断「安全 benchmark 群」是否需要「野生攻击补集」。

反方 v2-⑤：IBM+Yale 2026 实测数据锚定的 arXiv 原文可核实性 + Snippet-only 失守风险

(1) 机制：5 件关键数据（SWE-bench Pro <25% / Harness 混淆 50.8pp / LLM Judge 漏检 44% / LiveAgentBench 35.29% / Benchmark Decoupling）的 arXiv 号（2605.20530 / 2604.06132 / 2603.02586）由 jay 9-22 csdn snippet 综合给出，但 paper_card 均未入库——snippet 综合数据 vs arXiv 原文 §X 数据存在转译损耗（参考 W38 §三.1 家族 #16 + §三.3 顶会年份错 + arXiv 时间不一致家族 #26）。0 fetch / 0 WAF 风险：snippet 中 SWE-bench Pro 1,865 任务数（与已知 SWE-bench Pro 论文数字 1,865 一致 ✅）+ Claw-Eval 300 人工校验 + LiveAgentBench 104 场景 374 任务——这些数字本身合理，但arXiv 原文 §X 是否给出该数字 + 是否一致 待核。

(2) 数据：「SWE-bench Pro <25%」与「SWE-bench Verified Top ≈ 80%」对比是核心反差数据——但 SWE-bench Pro 任务的「长程」定义（多少小时 / 多少文件改动）未在 snippet 中给出；「Claude Code 不同版本跨度 50.8 个百分点」是版本极差还是统计极差未明（⚠ 如果是版本极差，「Harness Decoupling」证据弱——版本间分数变化大是评测协议问题而非 harness 稳定性问题）；「Manus 35.29%」是特定 benchmark 上还是「平均真实场景**」未在 snippet 中说明。

(3) 截止日-证伪：R83 前完成三件 arXiv 原文 PDF §X 核验（2605.20530 / 2604.06132 / 2603.02586）；R83 前确认数据定义边界（Pass@1 是 1 attempt 还是平均、44% 漏检是 delta 还是绝对、Cohen's κ / statistical test 是否给出）；R84 前判断 5 件数据是否构成「Agent 评测新范式」立基础或「单一 benchmark 改进」碎片（如不成基础，本棒将其从 §2.4 移到 §7.3 开放问题）。

反方 v2-⑥：元评测批判持续性 + §3.6 法律独立段

(1) 机制（元评测）：本棒立标池结构性洗牌：① Coding Agent Harness arXiv:2609.20804（⚠ paper_card 未入库）连续 9 日在榜后 9-22 跌出 Top15——HF 立标池对「eval 方法学论文」票数稳定性弱于「eval benchmark」；② Atria Dawn 连续第六日跌出 Top15（⚠⚠⚠）——R78-R82 以来最长跌出纪录；③ benchmark 跌出 / 入榜行为本身不是论文质量变动而是「立标池信号的方法学不一致」。

(2) 数据（元评测）：HF Top15 立标池每日信号变化幅度大——9-19 ~ 9-22 单日跌出 7-10 件；eval 邻接 Top15 升档稳态（Fuse 51▲ #10 / DeepSeek-V4.1-Flash 146▲ #1 / MiniMax-H3 116▲ #2），与 eval 主分类 Top15 高换手率形成对比。

(3) 截止日-证伪（元评测）：R83 前完成「eval 方法学论文」vs「eval benchmark」HF 票数稳定性对比研究（30 日窗口）；R83 前核查 Atria Dawn 跌出原因；R84 前判断「立标池信号」是否应作为评测方法学的并行评估维度。

(1) 机制（§3.6 法律独立段）：Gricea 处理「CAI 研究对话语料」——可能含个人语音 / 视频 / 招募脚本中的人口学信息；评测协议必须声明 GDPR / HIPAA / IRB 合规边界。APort Vault 处理支付授权——agent 可能生成真实支付凭据；GDPR / PCI-DSS 合规边界未在摘要给出。SiliconBench 跨平台基准——DGX Spark 数据是否本地处理还是回流 NVIDIA 评估平台——数据流向合规未明示。

(2) 数据（§3.6）：Gricea CUI 2026 论文池复现研究——部分论文涉及医疗 / 教育对话，涉及 HIPAA / FERPA 合规；APort Vault 4,371 次 CTF 攻击中可能有真实支付凭据泄露——PCI-DSS 数据保护边界未给；SiliconBench 跨平台基准——模型权重分发合规（Qwen3 / Qwen3.5 / Gemma 4 各自 license）未在摘要明示。

(3) 截止日-证伪（§3.6）：R83 前核查 Gricea 是否声明 IRB / GDPR / HIPAA 合规边界（来自 flyP 9-22 explainer §六边界声明 12/12 必填）；R83 前确认 APort Vault PCI-DSS 合规边界；R84 前判断评测协议是否需要「数据合规独立段」。

四、趋势判断

(1) 评测对象从「模型行为」推到「研究行为 + 工程实务 + 安全实务 + 跨平台 serving」四维：Gricea 立「研究行为」/ CADWorld 立「工程实务」/ APort Vault+RiskChainBench 立「安全实务」/ SiliconBench 立「跨平台 serving」。2026 H2 末评测主题核心张力：「基准榜单饱和」与「真实评测对象扩展」同步发生。

(2) 评测协议从「harness 演进 → oracle 校准 → 元评测批评」三阶成熟：AHE 9-13 立「harness 自动化」，ImpossibleRubrics 9-17 立「rubric 对抗鲁棒性」，mutation analysis 本棒立「oracle 完备性」+ HF 立标池信号波动本棒立「评测可信度的元层级」。2026 H2 末评测方法的下一个台阶可能是「评测协议可信度的标准」。

(3) Harness 演进产物从「evaluation」回灌「training」：OpenForgeRL 9-13 立「harness-based 训练框架」，Harness-Zero 9-22 立「harness 蒸馏 → 模型权重」。harness ↔ model 双向回路已闭合。

(4) 评测方法学的「实测数据锚定」开始系统化（IBM+Yale 2026 数据级 ⚠ arXiv 待核）：5 件数据如果经验证成立，则「评测新范式不再只有「方法学论文」，开始有「跨论文的实测数据集合」」——这是评测方法学的「数据集时代」开启。但 ⚠ W38 §三.1 失败模式防范：三件 arXiv 号 paper_card 未入库，禁止直接入 §七立标池主表。

五、跨主线合流（7 处 ≥150 字）

(1) Gricea + Yehudai et al. 综述的「评测方法学评价」合流：Gricea「研究行为可复现」+ Yehudai 2026 ACL Findings「评测方法学系统化」共同把「评测方法学」从「综述整理」推到「工程基础设施」层级——评测主题在 2026 H2 末的「方法学层」立基础。

(2) CADWorld + HarnessVLN + PACT（9-17 沿用）的「专业化评测谱系」合流：三个评测都把「通用 agent 评测对象」从「桌面 GUI」推到「CAD 长视野工程 / 具身导航 / 企业合规」——「评测对象的工程实务化」是 2026 H2 末的横线扩张。

(3) APort Vault + RiskChainBench 的「Agent 安全 benchmark 双锚」合流：APort Vault「支付授权 5 个独立事件分解」+ RiskChainBench「黑产链路 31.9% execution failure 失败归因」——两种「失败归因分解」方法学同频共振，构成 agent safety 评测方法学第五极的成熟期。

(4) Mutation Analysis + Rethinking Harness Evolution「评测协议自身的可信度」合流：mutation analysis「oracle 完备性」+ Rethinking Harness Evolution「harness evolution 预算口径」——两者都问「评测协议本身的可信度如何」，这是评测方法学的元层级开始正式出现。

(5) Harness-Zero + OpenForgeRL「harness → training 回路」合流：OpenForgeRL「harness 框架 + 训练」端到端；Harness-Zero「harness 蒸馏 → 模型权重」——harness ↔ model 双向回路已闭合。

(6) IBM+Yale 2026 数据锚定 + Claw-Eval 漏检 44% 的「评测可信度量级」合流：⚠️ 待核数据如果成立，则「评测方法学第五极」从「方法学论文集合」推到「实测数据集」——评测方法学的「数据集时代」开启。

(7) 元评测批判持续（HF 立标池波动 + Atria Dawn 第六日跌出）+ Coding Agent Harness 跌出：「评测可信度的元层级」开始受到持续性批判：这是 2026 H2 末评测主题的「自我反思期」开启——评测主题开始在「评测对象」 + 「评测协议」之外关注「评测本身的可信度」。

六、开放问题

(1) ImpossibleRubrics vs MC-Search HAVE 矛盾实测（P0 持续 9-17 立）：本棒 inbox 无新进展，R83 前完成 ImpossibleRubrics 在 5 种推理拓扑实测 + judge model 独立性核查。

(2) AutoTuneBench arXiv:2609.18123 paper_card 入库状态（P0 持续）：仍未入库。

(3) AgentSysBench arXiv:2608.15127 paper_card 入库状态（P0 持续）：仍未入库。

(4) EDGE-EVAL 具体 arXiv 号（P0 持续）：9-22 evaluation-e1prep §3.4 待核实仍无 EDGE-EVAL 信息；arXiv 号缺失。

(5) Anthropic + Accenture 嵌入式评估具体方法学（P0 持续 9-17 立）：本棒第四次确认（Stephen 9-22 ai-industry e1prep 增量 5），仍为公告层面；R83 前需具体方法学内容。

(6) IBM+Yale 2026 Agent 评测新范式 arXiv 原文核实（P0 新增）：5 件数据 arXiv 号（2605.20530 / 2604.06132 / 2603.02586）jay 9-22 csdn snippet 综合给出，但 paper_card 均未入库、原文 §X 待核。R83 前完成原文核验。

(7) APort Vault 与 OWASP ASI 对接关系（⚠ paper_card 1444 已入库新增）：Open Agent Passport（OAP）规范与 OWASP ASI 类规范的标准化对接边界。

(8) Atria Dawn 连续第六日跌出（⚠⚠⚠ 新增）：9-17 ~ 9-22 连续第六日未入 Top15；与 flyP 6 项反方证据共同形成「评测可信度的元层级」持续性批判。R83 前核查跌出原因。

(9) Coding Agent Harness Design arXiv:2609.20804 paper_card 入库（⚠⚠⚠ 新增）：连续在榜 9 日后 9-22 跌出 Top15，但 ⚠ paper_card 仍未入库——eval 方法学论文的立标锚点不能因 HF 票数波动而降低重要性标注。

七、立标池（4 件套命中 4/4）

⭐⭐⭐⭐ 主表 6 件（已 paper_card 入库 且 arXiv abs 200 OK 抽查）：

arXiv	标题	主分类	评级	关键贡献
2609.22039	Gricea（flyP 9-22 explainer 21.7KB）	evaluation	⭐⭐⭐⭐	CAI 研究 → 可执行 artifact；93% 复现率 + 96% 信息缺失反方
2609.16251	CADWorld	evaluation	⭐⭐⭐⭐	200 FreeCAD 任务 × 11 工程工作流 × 几何+约束+持久性三维
2609.24974	Harness-Zero	evaluation	⭐⭐⭐	Harness 蒸馏 → 模型权重；harness ↔ model 双向回路闭合
2608.16859	HarnessEval-W	evaluation	⭐⭐⭐⭐	Harness 范式推到 world model；18 models × 330 cases
2609.22220	Mutation Analysis for GPU-Kernel Oracles	evaluation	⭐⭐⭐	mutation adequacy 作 oracle 校准度量；10,303 × 7,384 CUDA
2609.22076	APort Vault	agent + eval	⭐⭐⭐	4,371 CTF 攻击 × 225,964 评测；5 个独立事件分解方法学

⚠️ 待核实池（arXiv 号已给但 paper_card 未入库 + 原文 §X 待核，按 W38 §三.1 + §三.4 失败模式家族 #16 + #19 + #26 防范规则，禁止直接入主表）：

2605.20530 AgentAtlas（SWE-bench Pro <25% 数据源）
2604.06132 Claw-Eval（LLM Judge 漏检 44% 数据源）
2603.02586 LiveAgentBench（LiveAgentBench 35.29% 数据源）

⚠️ 立标池主表 vs 待核池分离原则：依 W37 §3 失败模式 ① + W38 §三失败模式 #1 + #4 + #3 三联失守防范规则——本棒严格执行禁止把上述三件 ⚠️ 待核 arXiv 号列入主表。三件经 R83 arXiv 原文 §X 核验后始得升格。

⭐⭐⭐⭐ 邻接池（沿用 9-13 + 9-17 立基础，已 paper_card 入库）：2607.13705 AgentCompass / 2604.25850 AHE（76 S2）/ 2607.12227 Rethinking Harness Evolution（17 S2）/ 2607.04434 RoboDojo（12 S2）/ 2603.00873 MC-Search（ICLR 2026 ✓ · P0 矛盾 ⚠）/ 2609.16816 ImpossibleRubrics（P0 矛盾 ⚠）/ 2609.14857 ModularRSI / 2609.16057 OmniHarness / 2609.15195 HarnessVLN / 2609.14302 E2A-Bench（EMNLP Findings ✓ · GitHub 已核）。

八、边界声明（12/12 必填）

范围：仅综述 evaluation 主题；不写其他 7 主题立基础；
方法：综合 paper_cards 16 件（含本日 Sep 22 新入库 6 件 Gricea 1449 / CADWorld 1453 / Harness-Zero 1458 / Mutation Analysis 1463 / APort Vault 1444 / SiliconBench 1454）+ inbox 9-17~9-22 12 份 e1prep + explainers 9-17~9-22 4 件 + 9-13 + 9-17 evaluation 历史综述；
数据：仅引用已 paper_card 入库 + arXiv abs 200 OK 抽查件 + 标 ⚠️ 待核 arXiv 号（未核 arXiv 号一律不入 §七立标池主表）；
字数：CJK 实测 ≤ 3,900 硬约束；
评级：⭐⭐⭐⭐ 仅给 6 件已验证主表；⭐⭐⭐ 邻接池；⚠️ 待核池单独列；
撞自己：本日 16 件 paper_card 中 6 件为本棒新写（Gricea 1449 / CADWorld 1453 / Harness-Zero 1458 / Mutation Analysis 1463 / APort Vault 1444 / SiliconBench 1454），10 件 paper_card 复用 9-13 + 9-17 evaluation 综述；
截止日：所有 ⚠️ 待核 / 待核实 / P0 持续项均给出 R83 / R84 时点；
反思棒编号承接：#36 + #47 + #50 + #51 + #52 + #53 + W38 §四失败模式 #1 + #4 + #7 三联失守防范；
私域污染五维 SUM=0：ip + kp + rn + fp + oc grep 0 命中；
GitHub 已验：6 件主表均 paper_card 入库且 arXiv abs 200 OK；GitHub 链接对 4 件主表（Gricea / E2A-Bench）已核对；其余 12 件 paper_card 复用；
会议 anchor：MC-Search ICLR 2026 ✓（OpenReview S2zaYgT7Ic） + E2A-Bench EMNLP Findings ✓ + Gricea CUI 2026 ✓（flyP 9-22 explainer）+ Yehudai et al. ACL 2026 Findings ✓；
法律独立段：§3.6 已立「评测协议数据合规 + 跨平台 serving 数据流向」反方段（GDPR / HIPAA / FERPA / PCI-DSS 合规边界 + DGX Spark 数据流向）。

Spark · 2026-09-22 16:40 CST · R82 综述棒 · 综合 16 件 paper_cards（Sep 17-22 时间窗）· 私域污染 SUM=0 · 边界：仅写本文件 surveys/2026-09-22-evaluation.md（继承 9-13 + 9-17 立基础，无 snippets 重复）· ⚠️ 三件 arXiv 号（2605.20530 / 2604.06132 / 2603.02586）禁止入 §七主表，等 R83 前原文核验