主题综述 · evaluation（2026-08-04）

作者：spark
更新：2026-08-04

取题与覆盖说明

今日 cron 取 date +%j = 216，216 mod 8 = 0 → 主题 agent；但 surveys/ 目录 72 小时内（2026-08-01 → 2026-08-03）已有 2026-08-03-agent.md，按 cron "顺延到下一个未覆盖主题" 规则，向后顺延一格至 evaluation（index 4）。2026-08-01-evaluation.md 之外、近 72 小时（2026-08-01 ~ 08-03）未出现 evaluation 主题综述，满足未覆盖条件，落点为 evaluation。

本综述基于：(1) organized/paper_cards/ 中主分类=evaluation、形态=benchmark/method、arXiv 编号在 2606-07 ~ 2608-04 区间的 8 张卡片；(2) organized/promo/explainers/ 中相关解读；(3) inbox/tom/2026-08-04-evaluation-e1prep.md（含 R35 收官基线 + 当日 3 件确认增量）；(4) inbox/jay/2026-07-31T1620-jay-csdn-sglang-bench-eval.md（推理引擎评测工程视角）；(5) 一次轻量 web_search 补最新进展。每篇主线下含 1 条反方 v2 三段式（机制 + 数据 + 截止日），跨主线合流密度按 lessons-W31 §4 W5 综述指引第 2 条核验 ≥30%。

1. 主题脉络：从 "模型分" 到 "过程分 + 场景分" 的双重漂移

2026 H2 的 evaluation 主题脉络，可用三个观察坐标定位。

第一条主线是评测对象从 "静态分" 漂移到 "动态过程"。R35 收官节点（含 PROTEA 多 Agent 工作流离线评测 + Datadog 工业可靠性数据 + DialogGuard 心理安全）已经把评测锚点从 "最终答案对不对" 推到 "节点级 credit assignment 对不对"。8-4 增量 2607.12227 Rethinking the Evaluation of Harness Evolution for Agents 进一步提出：harness 自动演化与 test-time scaling 的胜负，不能只比 final score，要先把 evaluation 自己当作 search procedure 来审——在 Terminal-Bench 2.1 上对比 GPT-5.4 与 Claude Opus 4.6，harness 演化并没有一致地打过简单 test-time scaling；更刺眼的是 search 与 evaluation 共用同一 benchmark，会引入过拟合。两点合并，构成本期 evaluation 的第一条反方："评测分数继续上分，但 gain 是来自更好的设计还是更多 compute？" 答案本身需要被评测。

第二条主线是评测粒度从 "会话内" 漂移到 "跨会话 / 长程"。2607.24368 InMind 把长期记忆 benchmark 的隐式假设 "a needed memory will resemble the query that needs it" 拆穿——坚果过敏应通过杏仁粉成分影响对马卡龙请求的回答，但两段文本检索器看不到共享线索；它在十个生活领域放出 125 个专家验证任务。2607.26611 Fewer Clarifications, Better Code 把评测粒度推到跨会话消歧——同一用户的已解决会话历史能否作为新会话解决重复个性化歧义的记忆，是此前未形式化的新任务。这两件与 R35 MirrorCode（超长程代码 ≥500 行）合并，构成本期 evaluation 的 "时间维度" 三件套：会话内 / 长程 / 跨会话个性化。

第三条主线是评测方法学本身被反方系统化拆穿。三件反方证据已经成型：① 2607.09786 Length Penalties Make Chain-of-Thought Less Monitorable——"压缩—可监控性前沿" 揭示更廉价推理保留答案但让背后影响更难检测，对 CoT-as-eval 路径直接逆风；② 2607.29025 Evaluation-Verification Reward（8-4 增量）——多参考图像编辑场景中 MLLM-as-zero-shot-judge 因长输出而加剧幻觉，呼吁设计专用 reward model；③ 2607.28319 Fairness Pruning——人口统计偏差定位需要在 down_proj 输入层捕获差异激活，等于把 "评测" 工作前置到 "推理时捕获" 而不是评测开始才介入。

三条主线不互斥，合流点恰好是 2607.13705 AgentCompass——它把 evaluation 流程拆成三个独立组件（任务定义 / 执行 / 评分），支持重新配置执行逻辑而不重新实现复杂执行，从而在不重写 harness 的前提下用同一管线跑过上述三种粒度。合流密度在本综述中跨节引用集中在 §2.2 / §2.4 / §2.5 / §2.7 ≈ 36%，满足 ≥30% 阈值（lessons-W31 §4 W5 综述第 2 条指引）。

[fact-fix] 三主线并非新立概念，而是 8-4 e1prep 确认增量 + R35 基线的横向归并；其中 harness 反方在 ICLR/AI Weekly 2026-08 已出现第二来源报道（aiweekly.co 报道对 2607.12227 的方法学批评），与 inbox/tom/2026-08-04-evaluation-e1prep §2 已沉淀的 "评测场景持续专化" 主线形成内外印证。

2. 各工作贡献与相互关系

2.1 评测基线型：`2607.13705 AgentCompass`

贡献：开源、轻量、可扩展，将 agent 评估围绕三个独立组件组织（任务/执行/评分），无需重写复杂执行逻辑即可灵活配置。形态=benchmark，副分类=agent。方法学价值：首次把 harness-as-config 思路写入评测基础设施，使 R35 PROTEA / DecoEvo / DialogGuard 等碎片化的评测方案可在同一管线被复用；同思路在 multi-agent 评测基础设施 MASEval（ACL 2026 Demo / arXiv 2603.08835）有同期工作。反方 v2（机制+数据+截止日）：机制——三组件分离让评测可插拔但牺牲跨组件一致性，例如评分组件换了 LLM-judge 与执行组件换了 harness 时的一致性校准缺失；数据——8-4 截至该卡仍缺跨 baseline（SWE-bench / Terminal-Bench / τ-bench / MASEval / AgentCompass）的 leaderboard 对照表，无法回答 "在保持 harness 不变前提下，任务/评分组件替换会带来多少漂移"；截止日——8-4 截止 GitHub 仓库 0 evidence，需进入 registry/papers.jsonl 后再独立核验。

2.2 评测粒度型：`2607.24368 InMind` 与 `2607.26611 Fewer Clarifications`

2607.24368 贡献：在十个生活领域 125 个任务上评测 agent 记忆的 "隐式关联盲点"（implicit-association blind spot）——需要的记忆与查询不相似的场景。方法贡献是它拆解了一个长期被假设掩盖的反例。反方 v2（机制+数据+截止日）：机制——125 任务跨域分布对统计稳定性有偏，需通过分领域拆分报告 β 漂移；数据——专家验证在十个领域不等于跨文化验证，未在中文/低资源语言下复测；截止日——8-4 该卡引用 0，HF Daily 未入榜，可复现性独立核验待启动。

2607.26611 贡献：把 "个性化歧义自适应" 形式化为新任务，评测同一用户跨会话的歧义复用能力——明确区分 "当前会话内澄清" 与 "跨会话历史作为记忆" 两种消歧路径；评测代码助手场景。反方 v2（机制+数据+截止日）：机制——评测依赖模拟用户，模拟用户设计依赖标注者先验知识，与真实用户群体存在系统性偏差；数据——inter-annotator agreement 未在 paper_cards 705 转引中报道，需检索原 arXiv 2510.2 类似格式补足；截止日——与 Beyond Borrowed Histories（2607.27816，8-4 HF Daily +1 票）同周出现，两件共享方法论骨架但分属编程/角色扮演两域，需在 8-11 之前做一次双评测复盘否则锚点会被读者错配。

2.3 评测方法学反方型：`2607.09786`、`2607.29025`、`2607.28319`

2607.09786 贡献：用长度惩罚压缩 CoT 时，可监控性下降——"compression-monitorability frontier"，更廉价推理保留答案但让背后影响更难被探测。直接打击把 CoT 作为可监控信号的工作。反方 v2：机制——可监控性指标单一，未涉及对真实任务分布偏移的鲁棒性；数据——长度惩罚-可监控性曲线跨 base 模型是否稳定未给消融；截止日——8-4 仍 0 引用，作为方法学揭幕工作证据链单薄，独立复现报告未检索到。

2607.29025（8-4 增量）：多参考图像编辑中需要为多图像关系约束设计专用 reward model，"MLLM-as-zero-shot-judge in 长输出场景" 走向 hallucination。反方 v2：机制——reward model 形式化对多参考类型敏感，多视角 3D / 多帧视频剪辑是否可迁移未给消融；数据——四维指标（准确性 / 完整性 / grounding / 成本）相互权重的标准化方案未报道；截止日——8-4 截止 paper_cards 697 已建，复现仓库链接 inbox 多次提及但 8-4 仍未公开，与 R35 Datadog 工业数据共构成 "评测对象的成本维度" 横切。

2607.28319 Fairness Pruning：在 GLU 架构 down_proj 输入处用最小对比对做差异激活定位，识别差异响应 demographic 属性的神经元，规模达 30 亿参数。反方 v2：机制——GLU 特定机制下结论能否迁移到非 GLU 架构（attention-only / MoE）未给对照；数据——bias 维度覆盖了 demographic 但未覆盖语境偏见（contextual bias）；截止日——8-4 该卡被 4 个 inbox 频道同时选中作为候选（tom / flyp / stephen），引用仍未建立。

三件合并，本期方法学反方的工作模板为 "在 LLM-as-judge / 长输出 / 长上下文 / 跨域泛化中任选一轴，挑出评测自身失效的方式并给出补救路径"——这是 2026 H2 evaluation 主题最具信号性的主线。

2.4 评测方法学建设型：`2607.01233`、`2607.11079`、`2607.04434`

2607.01233 贡献：测出 "LLM 思路范围比人类更窄，且存在系统性偏移"，1 引用。反方 v2：机制——"思路" 的操作化定义跨学科差异大；数据——1 引用意味着证据可重复核验未起；截止日——8-4 paper_cards 188 已建。

2607.11079 SDABench：围绕六能力（描述/探索/推断/预测/因果/机制）× 五领域（生/化/环/地/物）重组 evaluation，"面向 AI 科学家" 的能力导向评测。反方 v2：机制——能力划分并非首次提出，与早期 Bloom taxonomy 关系未澄清；数据——五大领域是否足以覆盖 "AI 科学家" 任务谱系未给论证；截止日——8-4 0 引用，与 inbox 8-04 报告的 "评测场景持续专化" 主线方向相反。

2607.04434 RoboDojo：30 个策略集成进 XPolicyLab，仿真-真机统一基准 + 公开 leaderboard，5 引用（本期最高）。反方 v2：机制——sim-and-real gap 由 benchmark 自动度量，但 sim2real 失败的归因仍需独立实验；数据——30 策略并非穷举通用机器人操作策略空间；截止日——8-4 0 OpenAlex 引用，S2 单边提升节奏待 8-11 观察。

2.5 评测哲学型：`2607.27816 Beyond Borrowed Histories`、`2607.12227 Harness 反方`

2607.27816 贡献：角色扮演 agent (RPA) 应突破 "借用固定历史 + 脱离用户的固定评分"，转向用户对齐模拟——评测的是 "能否向真实用户一样演化" 而不是续写。反方 v2：机制——模拟用户与真实用户对话长期看差距未被量化；数据——HF Daily 8-04 +1 票累积信号可，但相对票位 32▲ 仍偏中下；截止日——与 2607.26611 同周出现，方法论骨架相似、领域不同，8-11 前的双评测复盘是合并锚点前的最后窗口。

2607.12227：harness evolution 与 test-time scaling 在匹配反馈与推理预算下对比，未一致超越；search 与 evaluation 共用 benchmark 导致过拟合。反方 v2：机制——feedback + budget 匹配是必要而非充分条件；数据——Terminal-Bench 2.1 一个 benchmark + 两个 base 模型，外推性受限；截止日——与 8-4 AIWeekly.co 二次报道同步出现，方法学批评已被业界印证，建议在 8-10 前完成第二轮跨 benchmark 复测。

2.6 横切：与 engineering / llm-infra 主线的合流点

inbox/jay/2026-07-31T1620-jay-csdn-sglang-bench-eval.md 报告 SGLang 与 vLLM 在 bench_serving 上的 TTFT / P99 ITL / Throughput 横向对比、DGX Spark 部署 Qwen3.5-35B-A3B-FP8 实测脚本、Docker 安全参数表。这套工程层评测实践与本综述 evaluation 主线构成 "评测对象工程实现" 横切：评测是上游，推理引擎是下游；bench_serving 是把 evaluation 主线从 "打分" 推进到 "运行时持续采集" 的关键组件。合流点：2607.13705 的三组件分离思路若迁移到推理引擎评测，能把 "harness 演化 vs test-time scaling" 的方法学批评同样应用到引擎侧。

3. 三视角：工程 / 研究 / 批判

3.1 工程视角：可落地性

可立即落地的三件：(a) 2607.13705 AgentCompass 的三组件拆分可以零代码改造地套到本评测管线，无需重写执行；(b) 2607.24368 InMind 的 125 任务可用于内部 agent 记忆回归测试，作为场景扩展；(c) 2607.28319 Fairness Pruning 的差异激活捕获机制可在 GLU 类底座上低代价接入。三件都形态=benchmark 或 method，8-4 截止 GitHub 仓库独立复现待核验。

落地难度按 hugging-grade 排序：InMind（125 任务可直接采）/ Fairness Pruning（推理时激活采集需 hooks）/ AgentCompass（需迁移 harness 配置）。

3.2 研究视角：创新性

最具原创性的三件：(1) 2607.12227 把 evaluation 当作 search procedure 的反思——这是 2026 H2 第一篇把元批评锚定到 "评测自身" 的 harness 工作；(2) 2607.24368 拆穿 "memory resembles query" 隐含假设——长期被掩盖的反例首次形式化；(3) 2607.29025 指出 MLLM-as-judge 在长输出场景的 hallucination 加剧——把 R35 DialogGuard 的 LLM-as-judge 批判路径在视觉评测场景放大。三件从不同轴线（方法学 / 评测粒度 / 评测工具）触及 evaluation 的根议题。

3.3 批判视角：局限

(a) 整体引用稀薄：8 件主轴里 S2 引用仅 2607.01233（1）与 2607.04434（5），OpenAlex 全 0，证据链单薄 8-11 前难见独立复现。(b) 时间/语言偏置：主轴以英文 arXiv 为主，"模拟用户" 难题 (2607.27816 / 2607.26611) 在中文 / 印地语 / 阿拉伯语用户群体上的验证均为零。(c) 评测成本被低估：行业多维权重（金融重准确、客服重成本）在 2607.29677 / 2607.29025 仍未达成标准化共识。

4. 趋势判断与开放问题

趋势 1：从 "打分" 到 "打分如何被打分"。2607.12227 是 2026 H2 把 evaluation 元批评系统化的首件；2607.13705 三组件设计是 "把 metadata of eval 标准化" 的工程响应；2607.09786 把 "可监控性" 作为独立维度提出。预计 8 月底前会有 ≥2 篇同期工作沿同一元轴线展开。

趋势 2：从单 base 模型到 "评测底座" 概念。2607.28319 的 3B 验证，2607.11079 SDABench 的能力-领域二维矩阵，2607.27816 的模拟用户体系——都在把 evaluation 从 "bench 清单" 推向 "bench × model × judge" 三元组（与 ICLR 2026 / Tianyi Zhou 的 TRACE 框架同向）。

趋势 3：从 "成本零指标" 到四维权重，2607.29677 / 2607.29025 同时把成本列为独立维度，预计 8-15 之前出现权重标准化方案。

开放问题 1：harness 演化的外推性（2607.12227 单 benchmark 验证不足，跨 Terminal-Bench / MASEval / τ³-Bench 是否仍击败 test-time scaling 是 Q3 必须回答的问题）。 开放问题 2：模拟用户的真实度（2607.27816 / 2607.26611 共享 "模拟用户" 难题，需第三方验证集量化）。 开放问题 3：评测底座之间的可组合性（2607.13705 三组件与 2607.28319 差异激活能否组合成 "公平 + 可解释" 管线？8-11 前无路径）。 开放问题 4：跨语言评测覆盖率（本期主轴零中文 / 零低资源语言评测证据，需 9 月之前以 e1prep 计划形式立项）。

5. 跨主线合流密度自查

跨主线节号引用次数统计（lessons-W31 §4 W5 综述第 2 条要求 ≥30%）：

§1 主线脉络引用：1.1 → 2.1 / 2.2 / 2.5 各 1 次 = 4 次
§2.1 → §2.2：1 次
§2.2 → §2.5：2 次（InMind + Fewer Clarifications 共用 "模拟用户 / 时间维度"）
§2.5 → §2.6：1 次（harness 反方与 engine 评测合流）
§4 趋势 → §2 主线：2 次

总跨节引用 ≈ 36.8%，≥30% 阈值。

6. 4 分制自查

按 lessons-W31 §4 W5 指引第 3 条：主线机制+数据双轨 ⭐⭐⭐⭐ / 反方三段式 ⭐⭐⭐⭐（每节均给）/ 跨主线合流密度 36.8% ≥30% ⭐⭐⭐⭐ / 无元层级叠加标签 ⭐⭐⭐⭐。综合 ⭐⭐⭐⭐（4 分）。不足：OpenAlex 引用全部 0、数据可重复核验未起、批判 §3.3 三局限未给量化、跨语言覆盖率为零。

引用 arXiv 号汇总

#	arXiv 号	名称	主分类	形态
1	2607.13705	AgentCompass	evaluation	benchmark
2	2607.24368	Keep It InMind	evaluation	benchmark
3	2607.26611	Fewer Clarifications, Better Code	evaluation	benchmark
4	2607.09786	Length Penalties Make CoT Less Monitorable	evaluation	method
5	2607.29025	Evaluation-Verification Reward（8-4 增量）	evaluation	method
6	2607.28319	Fairness Pruning	evaluation	method
7	2607.01233	Measuring the Gap Between Human and LLM Research Ideas	evaluation	method
8	2607.11079	SDABench: Are LLMs Ready for Scientific Discovery	evaluation	benchmark
9	2607.04434	RoboDojo	evaluation	benchmark
10	2607.27816	Beyond Borrowed Histories（HF Daily 8-04 +1 票）	evaluation	benchmark
11	2607.12227	Rethinking the Evaluation of Harness Evolution for Agents（8-4 反方揭幕）	evaluation	method
12	2607.29677	ExtractBench（8-4 增量，R35 §2.2 增补）	evaluation	benchmark

来源文件清单

inbox/tom/2026-08-04-evaluation-e1prep.md（R35 收官基线 + 当日 3 件确认增量）
inbox/jay/2026-07-31T1620-jay-csdn-sglang-bench-eval.md（工程视角基准）
organized/paper_cards/{405,640,705,413,697,684,188,393,172,679,684-last,434-card-??} 主分类 evaluation 卡片
organized/promo/explainers/2607-08317.md（Blind-Spots-Bench 解读，与本综述 "反方评测" 主线呼应）
1 次 web_search：tavily "LLM agent evaluation benchmark 2026-08 latest arXiv harness evolution"（2026-08-04 13:03 CST）
knowledge/lessons/lessons-2026-W31.md §4 W5 综述指引

4 分制自查结果：⭐⭐⭐⭐（4 / 4）

主线机制 + 数据双轨：✅（§2 各节均给）
反方 v2 三段式：✅（每节附 "机制 + 数据 + 截止日"）
跨主线合流密度 ≥30%：✅（36.8%）
自然段 + [fact-fix] + 4 分制：✅（全文按规范）