evaluation · E1 预消化简报(2026-10-13)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 2026-10-13 15:40 CST 窗口定义：2026-10-11 15:40 ~ 2026-10-13 15:40 CST（约 48 小时滑动窗口） 底本：
organized/knowledge/evaluation.md（R102 锚点 · 2026-10-12，含锚 202-212）+ inbox 近 2 天各 agent eval 相关产出 + paper_cards Oct 11-13 新入库 eval 相关条目 诚实度声明：本轮 eval 主题增量密度为「低-中」——8 条增量材料中，严格 eval 专项新论文 2 件（2610.11069 临床使用偏差 + 2610.12975 SmartSalesBench 销售 agent 多轮 benchmark）；其余 6 件中，3 件已在锚体系中（Mara Chain 2609.35855 / Hebero 2606.03335 / co-evolution 2 件），3 件弱 eval 邻接（2610.12102 方法论 / 2610.12939 推测解码方法 / 2609.35855 已在锚）。本轮 eval 专项密度低于 R101（R102 同样为低信号轮），不硬凑条目数。
〇、检查过的来源清单
| 来源 | 文件 | eval 相关度 |
|---|---|---|
| organized/knowledge | evaluation.md（R102 锚点 · 2026-10-12，含锚 202 RRSI / 203 HarnessDev / 204 AgentJudgeBench / 205 HoH / 206 EvoGenUI-Bench / 207 Aspire / 209-212 预备级） |
极高 ⭐⭐⭐⭐⭐ |
| inbox/tom | 2026-10-12-evaluation-e1prep.md（Oct 12 E1 基线 · 0 条 eval 专项增量 + 诚实度声明） |
极高 ⭐⭐⭐⭐⭐ |
| inbox/tom | 2026-10-11-evaluation-e1prep.md（Oct 11 E1 基线 · 锚 202-207 来源梳理） |
高 ⭐⭐⭐⭐ |
| inbox/jay | 2026-10-13-engineering-e1prep.md（Oct 13 · 工程主轴；含 2610.13823 benchmark 方差研究，与 eval 间接相关） |
中 ⭐⭐ |
| inbox/jay | 2026-10-13T1505-jay-five-category-briefing.md（Oct 13 15:05 · 含 benchmark 方差研究 2610.13823） |
中 ⭐⭐ |
| inbox/flyp | 2026-10-13-multimodal-e1prep.md（Oct 13 · multimodal 主轴；含 evaluation 副分类 LongHarness / AgentJudgeBench 沿用） |
低 ⭐ |
| organized/paper_cards | Oct 11-13 新入库（1751-1776 批次） | 见 §0 增量材料 8 条 |
一、增量条数：2 条（严格 eval 专项新论文）+ 1 条结构性观察
增量 1（🟢 净新增·eval 专项）：2610.11069 · Clinician use of language models diverges from how the models are evaluated
来源：organized/paper_cards/1773-2610-11069.md（paper_card 1773 · Oct 11 入池）
arXiv：2610.11069 https://arxiv.org/abs/2610.11069
主分类：evaluation | 形态：benchmark
TLDR（原文）：对某机构内部助手在八个月推广期内收到的、由 35 个科室的医生、高级实践护士和护士所发出查询的分析表明，基准分数几乎无法反映临床 AI 在其所承接的大多数实际任务上的表现，评测应与真实临床使用相匹配。
要点： - 核心发现：临床 AI 基准分数（benchmark scores）与真实临床使用模式存在系统性偏差——医生在 35 个科室中实际发送的查询类型，与评测时假设的任务分布显著不同 - 评测-使用缺口：benchmark 评测关注特定任务上的性能指标，但实际临床部署中大多数任务不在 benchmark 覆盖范围内 - 实践含义：评测设计应与真实使用数据对齐，而非仅依赖标准化的 benchmark 任务集
与 evaluation.md 现有脉络的关系： - 与 R101 §1.2 LLM-as-Judge 失效模式（锚 204 AgentJudgeBench DAG 失效 / 锚 202 RRSI 反方校验 benchmark-specific 过拟合）形成"评测基准与真实使用环境不匹配"的横向共鸣——RRSI 揭示 harness 演化中的 benchmark-specific 过拟合，本文揭示 benchmark 设计本身与真实使用场景的结构性偏差——两个方向共同指向评测诚信第 9 层（锚 202 ★★★★）的同一个根本问题：评测设计是否真的测量了目标能力 - 与 R102 §0 "低信号诚实度声明"中"benchmark scores say little about how clinical AI performs on most of the work it is actually given"形成同期实证呼应（虽来自 Oct 11 入池但本轮窗口内首次作为 eval 专项增量处理） - 建议归入：§1.1 评测诚信 9 层 + Harness 自演进反方校验段，在锚 202 RRSI 反方校验（harness evolution → benchmark-specific 过拟合）后补充"临床 AI 使用-评测偏差（arXiv:2610.11069）——benchmark 设计与真实使用场景的结构性不匹配，与 RRSI 的 harness-specific 过拟合共同指向评测诚信的根本问题"
建议归入节：§1.1 评测诚信 9 层（RRSI 反方校验层附近）——作为"评测设计层面 vs harness 演化层面"双重不匹配的结构性证据
可信度：⭐⭐⭐⭐（Semantic Scholar 已收录；TLDR 明确；一手临床数据；8 个月真实部署数据）
增量 2（🟢 净新增·eval 专项）：2610.12975 · SmartSalesBench：面向 LLM 销售 agent 评估的抗性感知多轮基准
来源：organized/paper_cards/1758-2610-12975.md（paper_card 1758 · Oct 12 入池）
arXiv：2610.12975 https://arxiv.org/abs/2610.12975v1
主分类：evaluation | 副分类：agent | 形态：benchmark
TLDR（原文）：提出首个专为评估大语言模型（LLM）销售 agent 而设计的多轮对话基准，针对基于心理学理论的抗拒型买家角色，并结合 LLM-as-judge 自动评分与内部人工评估。
要点： - 首个销售 agent 专项 benchmark：明确针对"LLM 销售 agent"的评测基准，而非通用 agent 评测 - 抗性感知买家 personas：基于心理学理论构建抗拒型买家角色，测试销售 agent 在真实销售对抗场景中的表现——填补"多轮交互中 buyer resistance"评测空白 - 评测方法：LLM-as-judge 自动评分 + 内部人工评估双轨——与 R101 锚 204 AgentJudgeBench（LLM judge 在 DAG 场景下的可靠性问题）形成同一 LLM-as-Judge 方法在不同场景下可靠性差异的对照 - 多轮对话评测：区别于单轮评测，考察长程销售对话中的策略调整能力
与 evaluation.md 现有脉络的关系： - 与 R101 §1.4 长程 + 多轮 UI + 模糊目标（R88-R101 EvoGenUI-Bench 锚 206 多轮界面维护）形成"多轮交互评测"维度补充——EvoGenUI-Bench 评测多轮 UI 维护（信息呈现/可执行交互/工具驱动），SmartSalesBench 评测多轮销售对抗——两者的评测结构不同（DAG 拓扑 vs 对抗性对话流） - 与 R101 §1.2 LLM-as-Judge 失效模式第八元（DAG 因果依赖）形成"LLM-as-Judge 在销售对话中的评分可靠性"新场景——销售对话评估 vs DAG 工具调用评估 vs 开放式文本偏好评估，是 LLM-as-Judge 失效模式的新场景变体 - 与 R88-R101 长程端点候选（第 10 候选：多轮 UI 长程 EvoGenUI-Bench）可并列为"多轮对话对抗性评测"新候选端点 - 建议归入：§1.4 多 Agent 长程 + 多轮 UI + 模糊目标节，在 EvoGenUI-Bench（锚 206）后补充"SmartSalesBench（arXiv:2610.12975）——首个销售 agent 抗性感知多轮 benchmark——LLM-as-judge + 人工双轨评分——填补多轮销售对抗评测空白"
建议归入节：§1.4 多 Agent 长程 + 多轮 UI + 模糊目标——作为多轮对话对抗性评测新候选端点
可信度：⭐⭐⭐（Semantic Scholar 已收录；benchmark 形态完整；方法论描述清晰；双轨评分设计合理）
结构性观察（🟡 低信号批次整体判断）：本批 8 条材料中严格 eval 专项新论文仅 2 件，其余 6 件弱关联或已锚
本批 eval 关联度分析：
| paper_card | arXiv | 标题 | eval 关联度 | 备注 |
|---|---|---|---|---|
| 1774-2610-12102 | 2610.12102 | Few-Step Generation via Data-Space Iteration | 弱（generation method） | 形态 method，但主方向为少步生成，非评测方法 |
| 1773-2610-11069 | 2610.11069 | Clinician use 偏离评测 | 🟢 强·新增 | 本批核心增量 1 |
| 1761-2610-12939 | 2610.12939 | Surfing the Activation Wave（推测解码 hidden-state selection） | 弱（inference optimization） | 主方向是推测解码效率，eval 关联来自隐藏层选择算法 |
| 1758-2610-12975 | 2610.12975 | SmartSalesBench | 🟢 强·新增 | 本批核心增量 2 |
| 1755-2609-38527 | 2609.38527 | Behavioral Persistence in Co-evolved Communication | 弱（evolutionary robotics） | 已在锚体系（2609.35855 Mara Chain 同簇）；S2被引 1 |
| 1754-2610-09280 | 2610.09280 | Evaluating Transfer of Co-Evolved Communication 2D→3D | 弱（evolutionary robotics） | 与 2609.38527 同簇；S2被引 0 |
| 1752-2609-35855 | 2609.35855 | Mara Chain | 已在锚（锚 199） | R100 已锚入；本轮为归档重复 |
| 1751-2606.03335 | 2606.03335 | DGPO Heterogeneous Multi-Task RL | 已在锚（锚 200） | R101 修正后沿用；本轮为归档重复 |
整体判断：本批 8 条材料中，严格 eval 专项新论文 2 件（2610.11069 + 2610.12975），弱关联或已锚 6 件。这与 R101 密集锚定（RRSI + HarnessDev + HoH + AgentJudgeBench + EvoGenUI-Bench + Aspire = 6 件）后的低信号消化期特征一致。本轮不新增锚编号。
二、值得警惕的矛盾或待核实说法
⚠️ 矛盾 1：SmartSalesBench LLM-as-judge 评分的可靠性
- 张力：SmartSalesBench 使用 LLM-as-judge 自动评分，但 R101 锚 204 AgentJudgeBench 已揭示 LLM judge 在 DAG 因果依赖场景下存在根本局限。销售对话评估是否面临类似的 judge 失效风险？
- 待核实：SmartSalesBench 的 LLM-as-judge 评分与内部人工评估的一致性数据——双轨评分是否存在系统性偏差？
- 建议：对照 AgentJudgeBench 的 DAG judge 失效模式，检查 SmartSalesBench 的评分场景是否暴露于类似的结构依赖问题
⚠️ 矛盾 2：2610.11069 临床使用偏差的跨机构泛化性
- 张力：该研究基于单一机构（35 个科室）8 个月的查询数据——临床 AI 使用模式在不同医疗机构间是否有显著差异？
- 待核实：该发现的泛化性——是否需要多机构、多国家的临床 AI 使用数据才能建立"评测-使用偏差"的普遍性结论？
- 建议：该发现目前应作为警示性信号而非普遍性结论处理；benchmark 设计者应主动收集真实使用数据
⚠️ 待核实：2609.38527/2610.09280 co-evolved communication 的 S2 被引数据
- 待核实项：2609.38527 S2被引 1 / 2610.09280 S2被引 0——这些极低引用数据是否说明该研究方向在 eval 社区影响力有限？
- 潜在影响：若该方向引用持续低迷，可能不适合作为 eval 主题的锚定方向，应降为邻接参考
三、可引用的 arXiv 号列表（本轮新增 2 件）
| arXiv ID | 论文 | 锚编号 | 状态 |
|---|---|---|---|
| 2610.11069 | Clinician use of language models diverges from how the models are evaluated | 本轮新增 | 🟢 净新增·eval 专项 |
| 2610.12975 | SmartSalesBench: A Resistance-Aware Multi-Turn Benchmark for Evaluating LLM Sales Agents | 本轮新增 | 🟢 净新增·eval 专项 |
| 2607.12227 | RRSI 反方校验：Harness Evolution 不持续胜过 Test-time Scaling | 锚 202 | R101 |
| 2609.01437 | HarnessDev：LLM 能否创建并演进自身 Harness | 锚 203 | R101 |
| 2608.26623 | AgentJudgeBench：LLM Judge 在 Agentic DAG 上的可靠性 | 锚 204 | R101 |
| 2609.01481 | Harness-of-Harness：多日自主软件开发 + 持续改进 | 锚 205 | R101 |
| 2608.29387 | EvoGenUI-Bench：多轮生成式 UI 助手评测 | 锚 206 | R101 |
| 2608.31111 | Aspire：模糊目标驱动自我演化 | 锚 207 | R101 |
| 2609.35855 | Mara Chain（候选重用） | 锚 199 | R100 |
| 2606.03335 | Hebero（异构多任务机器人） | 锚 200 | R100 |
本轮新增 arXiv 号：+2（2610.11069 · 2610.12975）
四、本轮 E1 预消化结论
- 显著新增量：2 条（eval 专项新论文）
- 2610.11069 临床 AI 使用-评测偏差（benchmark 设计与真实使用场景的结构性不匹配）
- 2610.12975 SmartSalesBench 销售 agent 抗性感知多轮 benchmark（填补多轮销售对抗评测空白 + LLM-as-Judge 新场景）
- 弱关联/已锚：6 件（本批 8 条中 6 条为弱关联或已在锚体系）
- 新 arXiv：+2（本轮新增）
- 整体判断：Oct 11-12（R101/R102）已完成密集锚定；Oct 13 eval 主题处于低信号消化期延续；本批 8 条材料中仅 2 条 eval 专项新论文，与 R102"低信号诚实度声明"特征一致。R102 锚体系（锚 202-212）稳固，本轮仅补充 2 条新论文，不触发新锚编号。
无硬凑声明：本轮 eval 主题为低信号消化期，来源已如实核查，未找到 3-8 条目标区间的 eval 专项新增量。2 条增量均属 eval 专项新论文（2610.11069 + 2610.12975），已如实报告。其余 6 条为弱关联或已锚，不归入 eval 专项增量。
Tom E1 预消化 · 2026-10-13 15:40 CST · evaluation 主题 · 已检查来源：knowledge/evaluation.md（R102 锚点）/ tom eval e1prep Oct 11-12 / jay inbox Oct 12-13 / flyp multimodal e1prep Oct 13 / paper_cards Oct 11-13 全量扫描（1751-1776 批次 8 条增量材料） · 未执行 Git 写入