W5 主题深度综述 · evaluation · 2026-11-04

作者：spark 主题：evaluation（能力评测、基准构造、评测诊断与评测驱动的修复） 窗口：清单 a7d6254f-9c7d-4862-9b58-cf778b1bee03（job_id 一致，created 1793781601 / expires 1793785201），item w5:evaluation，target organized/promo/surveys/2026-11-04-evaluation.md 素材边界声明：本稿仅使用清单 item.materials（8 条 paper_card 摘要 + arXiv 链接 + is_new 标记）与 item.context（8 篇 explainer 摘录 + 2026-10-24 同主题旧综述 + 1 份 lessons-2026-W42）所给有界材料。未通读任何一篇论文 PDF 全文；除下述两处针对清单已有论文链接的 arXiv abs 事实核查外，未检索其他论文、未扫描全库、未读整份日报或全部 lessons。 新旧标记：清单 8 篇材料 is_new 全部为 true，本批没有旧背景论文可作并列对照基线——"旧背景"仅指知识库中此前存在的解释层（8 篇 explainer）与既有综述（organized/promo/surveys/2026-10-24-evaluation.md），它们在本稿中作为背景参照出现。 事实核查（清单允许的两次，用尽）：① https://arxiv.org/abs/2609.15029 —— 确认 "across three LLaMA-3-8B backdoor settings, holding the model, clean data, and poison count fixed, attack success ranges from 3% to 80% depending only on which poison set is chosen"、"SAILS improves held-out attack success by 30 percentage points on average over the strongest influence baselines"、"extends to code-generation, agentic, and API-only backdoors" 均为 abstract verbatim，且 SAILS 全称确为 "Set-level Audit-Informed Iterative Learned Selection"；② https://arxiv.org/abs/2609.18748 —— 确认 "Each frozen set contains 900 Chinese calls, comprising 600 fraud and 300 near-domain non-fraud cases"、"three classifiers achieve perfect macro-averaged F1 (Macro-F1) when evaluated against unrelated or ordinary negatives, but drop to 0.65-0.68 with near-domain sibling negatives"、"reveal class-prior shortcuts, prediction collapse, and snapshot sensitivity"、以及数据集地址 https://anonymous.4open.science/r/TeleAntiFraud-2_0-EEB2/ 均为 abstract verbatim。

§0 一句话总览

本批 8 篇工作在 evaluation 主题下的共同气质，是评测协议的"隐含假设"被逐条揪出来审。The Endless Exam（2609.24555）把 0/1 打分换成相对已发表前沿的连续分，因为二元对错无法表达"我比已知最好的构造多了多少"；HappyWorld-Bench（2609.24308）把 world model 的评测对象从"生成得像不像"换成"被 agent 折腾时稳不稳"；ALPINE（2609.22323）把 FSL 的评判口径从"accuracy 高几个点"换成"参数预算 + episode 预算双约束下的等量比较"；VākQA（2609.19879）先做"judge 与人类判断的对齐验证"再评模型，并发现自动评估在低资源口语场景系统性不可信；TeleAntiFraud 2.0（2609.18748）把负样本从"主题分离"升级为"同 profile 同上下文"，一举把 1.0 的 Macro-F1 打到 0.65–0.68；DeformSmith（2609.18620）把"能不能被机器人操控"变成生成质量的硬指标而非事后检查；Pick Your Poison（2609.15029）把"随机抽 N 条毒样本"这个被忽视的随机变量升格为一阶研究对象；Another Blueprint In The Wall（2609.14803）则指出"多家前沿模型共识出的下一代架构"很可能是表达约束下的共同幻觉。

与上一轮（2026-10-24）综述相比，本批的重心有一处显著位移：上一批 8 篇几乎都在做"能力画像与失效归因"（四维画像、记忆机制、迁移失败归因），本批有 6 篇在做"评测协议自身的合法性"——评分函数对不对、负样本像不像、判官准不准、预算公不公平、基线会不会漂移、共识是不是真的。这是一个从"诊断模型"到"诊断测量工具"的位移。

§1 方向脉络：八件工作重构了评测体系的哪一层

线 A · 评分函数的重新设计——"分数本身该怎么算"

  • 2609.24555（The Endless Exam） 把数学构造题从二元对错改成相对质量分：与"已发表前沿"或"已知构造基线"对比给出分数，且不把改进上限设为 1（超过即表达"已超越已发表前沿"）。配套机制是"compact certificates"——大型构造不必列出全部元素也能验证。
  • 2609.24308（HappyWorld-Bench） 的 W1–W6 六层能力框架，是把"可靠的世界模型"切成从"是否合理"到"是否经得起 agent 折腾"的能力栈，产出的是能力图谱而非单点分数。
  • 2609.14803（Blueprint Mirage） 则从反面切入评分语义：它根本不给分数，而是证明分数背后的表达结构会制造伪共识。

这一线的主张可以概括为：评分函数不是中性的记分器，它定义了"什么算进步"。

线 B · 负样本与对照组的合法性——"我们拿什么当反例"

  • 2609.18748（TeleAntiFraud 2.0） 是本批最锋利的一篇：只要负样本与欺诈"主题分离"，三个分类器的 Macro-F1 就是完美的 1.0；换成同 profile 的 near-domain sibling 负样本，直接掉到 0.65–0.68（跌幅 32–35 个百分点）。这不是模型变差，是题目本身从一开始就没在测目标能力。
  • 2609.14803 的对照组是"去掉 school framing"，反证收敛不是知识结构的产物，而是表达约束的产物。
  • 2609.15029（SAILS） 的对照组更极端：固定模型、固定干净数据、固定中毒条数，只换随机种子，ASR 就从 3% 跳到 80%。评测协议里那个"随便抽"的默认动作，藏着比模型差异大一个量级的方差。

这三篇合起来给出一条清晰的方法学教训：在把两个模型的成绩归因于模型之前，先证明你的对照组设计没有在替模型说话。

线 C · 预算与公平性——"等量比较才是比较"

  • 2609.22323（ALPINE） 引入 iso-episode-budget 协议：固定 250 个 meta-training episode、5 颗 canonical seed、每颗 600 个 evaluation episode，并同时报告参数量（22,249–34,917，比基线少 27–53%）。它的贡献主体其实不在模型而在协议升级——把"参数预算 + 样本预算 + 跨域 + 抗扰动"四件套同时纳入评分口径。
  • 2609.24555 的公平性焦虑在另一处：30 个 published-frontier reference 既是基线又是语义锚点，一旦前沿更新，旧分数的含义就会漂移。

线 D · 评测器本身的可靠性——"谁来打分"

  • 2609.19879（VākQA） 是本批唯一一篇把"评估方法学"当作第一轨而不是附属步骤的工作：先用 Gemini-as-a-judge / open-weight judges 对齐人类评分，再拿校准后的 judge 去评模型。结论是诚实的双面：Gemini-as-a-judge 最佳逼近人类但"non-uniformly strict"（非均匀严格）；开源判官则系统性对"参考文本表面不一致但语义正确"的泰卢固语答案扣分。
  • 2609.24308 的 HappyWorld-Arena 用 human A/B + Elo 评级补自动化指标，动机同样是"单一自动指标会被针对性刷分"。

线 E · 把"可用性"做成硬门槛——"生成出来之后能干嘛"

  • 2609.18620（DeformSmith） 把共享物理 harness 作为贯穿所有生成阶段的约束，让"可被机器人操控"成为生成的硬指标，而不是最后再过一遍物理仿真；副产品是可回放的交互数据集。
  • 2609.24308 的 W4/W5（修改响应 / 物理一致）实质是同一诉求的评测侧版本。

线 F · 评测对象本体的扩张——"除了模型，还能测什么"

  • 2609.14803 测的不是模型能力，而是模型输出的溯源纪律：具体性要求升高时，模型在 technical provenance 上的纪律崩溃（作者命名为 epistemic jailbreak）。

与旧背景的对照：2026-10-24 的 evaluation 综述已把本主题定位为"元评测"阶段，其八条线是"评测目标重定义 / 评测协议对抗化 / 评测-部署分布对齐 / 评测-影响因素回归 / 评测预算失真 / 评测对象可解释选择 / 评测设置正交替换 / 评测系统可复现工程化"。本批与那一批论文集合零重合，但方向高度同源，且在两处明显收敛：(a) 两批都出现了"负结果被当作一等公民"的价值取向；(b) 两批都把消融与数字补全当作首要追债项。本批的差异在于更强调协议合法性——从"这个分数说明模型怎样"推进到"这个分数凭什么可信"。

§2 方法差异：六条可对比轴

轴一：把"什么"当成被测变量

工作 被测变量 切分方式
2609.24555 数学构造相对已发表前沿的进展 14 个参数化构造族 + 30 个前沿锚点 + 连续相对分
2609.24308 world model 在 agent 交互下的可靠性 W1–W6 六层能力栈 × 视频/空间/具身三轨
2609.22323 FSL 方法在双预算下的真实性价比 参数量 + episode 数 + 种子 × 跨域 + 扰动
2609.19879 低资源口语 QA 的回答正确性 + 判官可信度 模态 × 语言 × 领域三变量 + judge-人类对齐轨
2609.18748 电信欺诈检测的真实抗混淆能力 profile-grounded 双路径 + 三层（text / audio / ASR+LLM）
2609.18620 可形变资产的视觉质量 + 物理可信度 + 可操控性 几何 / 物理 / 材料 / 交互 四阶段共享 harness
2609.15029 最坏情况下的后门脆弱性 集合（set）为优化单元 + oracle 预算约束
2609.14803 模型输出的架构想象同质化与溯源纪律 三阶段提示 × school framing on/off 对照

差异要点：The Endless Exam 的 14 族是任务族轴，HappyWorld-Bench 的 W1–W6 是能力栈轴，ALPINE 的双预算是资源轴，VākQA 的三变量是输入条件轴，TeleAntiFraud 的双路径是对照构造轴，DeformSmith 的四阶段是生成流程轴，SAILS 的 set-level 是优化单元轴，Blueprint Mirage 的 framing on/off 是实验操纵轴。这八种切分互不可替换——尤其资源轴与优化单元轴，是其他六篇都没有触碰的维度。

轴二：范式选择——"连续分 / 硬门槛 / 二值是否 / 无分数"

  • 2609.24555 走"连续相对分 + 不封顶 1.0"：允许分数为负（落后）、0~1（接近）、>1（超越）。
  • 2609.24308 走"能力栈 + 硬指标（70.14% placement accuracy / 73.33% edit execution 作为 best-case 上限）"，并叠加 human A/B + Elo 的相对评级层。
  • 2609.19879 走"先双轨校准、再评模型"：轨 1 校准判官，轨 2 才跑 benchmark。
  • 2609.15029 走"二值 ASR + 显式暴露方差"：它不发明新分数，而是把既有分数的分布宽度（3%–80%）当作头条结果。
  • 2609.14803 走"不给分数"：只报告结构收敛现象与控制组对比。

轴三：数据来源——"人造任务 / 真实采集 / 合成 + 人工校验"

  • 2609.19879 是本批唯一真实人工采集并带真人核验的：2,001 factoid QA 对 / 6 领域 / 2.53 小时语音，双语转写 + 人工核验参考答案。
  • 2609.18748 是合成 + 校验：线上诈骗案例摘要 → profile grounding → mixed-tree 展开 → 双路径对话 → role-matched TTS → 每月冻结（audio / label / prompt / manifest / provenance 五类产物）。
  • 2609.24555 / 2609.24308 / 2609.22323 主要是既有人工构造任务的参数化或编排。
  • 2609.18620 的资产本体是合成的，但其判据是物理仿真与真实机器人交互——即由"物理 harness"充当 ground truth 源。
  • 2609.14803 的"数据"是 6 种模型 × 10 次会话 = 60 次独立会话，加一组去掉 framing 的控制运行。

轴四：对照与负样本的构造策略

这一轴是本批最能拉开差异的一轴：

  • TeleAntiFraud 2.0：同一 profile 下生成 fraud 与 non-fraud 双路径，负样本与正样本共享画像、共享对话上下文（near-domain sibling negatives）。
  • SAILS：把"选哪 N 条"从隐含随机变量变成显式优化目标，候选池百万级，用学到的 set scorer 排序后只审计小短名单。
  • Blueprint Mirage：控制组 = 保留架构请求、只去掉 school framing。
  • HappyWorld-Bench：用 W2 状态维护（对象 permanence / 跨步一致性）构造"重访一致性"压力点。
  • The Endless Exam：对照组不是负样本，而是已发表前沿——每族绑定 1 个以上权威构造结果作锚点。
  • ALPINE：对照组是等量预算下的三个 2017–2018 基线（ProtoNet / Relation Net / MAML）。

轴五：评测与"真实使用"的距离度量

  • 2609.18748 的三层拆解最彻底：controlled-text（文本层）→ full-set audio（信号层）→ ASR+LLM（系统层），每层掉分原因不同，因此要分别报告，不能只报一个数。
  • 2609.18620 的距离定义是"机器人能不能真的抓起来 / 不穿模 / 不滑落"。
  • 2609.24308 的距离定义是"agent 反复访问、修改、施加干预后世界是否还守规矩"。
  • 2609.19879 的距离定义是"语音 → 转写 → 翻译 → 答案"这条级联链路上的误差复合。
  • 2609.24555 的距离定义是"离已发表前沿还有多远"。
  • 2609.15029 的距离定义是"最坏情况而非随机情况下的脆弱性"。
  • 2609.14803 的距离定义是"输出中的具体工程陈述能否被追溯到真实实现"。

轴六：失败的处理方式——"只报告" vs "诊断并修复" vs "给出可证伪判据"

  • 2609.18620（DeformSmith） 是本批唯一走完整闭环的：分层 agentic 生成 → 共享物理 harness 检验 → 机器人交互反馈 → 重构，直到资产既可信又可操作。abstract 报告在视觉质量与物理可信度上优于 PhysGen3D / PhysGM / PhysX-Omni。
  • 2609.15029 是半闭环：诊断出方差 → 提出选样优化方案 → 用 held-out ASR 提升证明有效性，但防御方无法复现 oracle 这一结构性缺口未被解决。
  • 2609.19879 是校准型：诊断判官偏差 → 给出可复用的"先校准再评模型"范式。
  • 2609.14803 是判据型：它不修模型，而是给出"具体性压力"这一可被后续工作证伪的机制假设，并明确声明"do not authenticate proprietary implementation claims"。
  • 2609.24555 / 2609.24308 / 2609.22323 以诊断与协议为主，修复路径留给后续。

§3 证据边界：每篇能支撑到什么程度

必须先说明：本稿全部结论建立在 paper_card 摘要、arXiv abs 摘要、explainers 解读摘录之上，没有任何一篇被通读全文。以下按证据硬度分档。

硬证据（abstract 内有 verbatim 数字，可直接引用）

  • 2609.15029（SAILS）：本次事实核查确认 abstract verbatim —— 三个 LLaMA-3-8B 后门设定下，固定模型/干净数据/中毒条数，ASR 从 3% 到 80%，仅取决于选了哪个毒集；SAILS 比最强 influence 基线平均提高 30 个百分点 held-out ASR；可从小型迁移到全规模，并扩展到 code-generation / agentic / API-only 后门。⚠️ 每条基线的逐项数值、置信区间、是否做多次种子平均，abstract 未给。
  • 2609.18748（TeleAntiFraud 2.0）：本次事实核查确认 abstract verbatim —— 每份冻结集 900 路中文通话 = 600 fraud + 300 near-domain non-fraud；三个分类器在 unrelated / ordinary negatives 上 Macro-F1 = 1.0，换成 near-domain sibling negatives 后掉到 0.65–0.68；full-set audio 与 ASR+LLM 评测揭示 class-prior shortcuts / prediction collapse / snapshot sensitivity；数据与代码地址为 https://anonymous.4open.science/r/TeleAntiFraud-2_0-EEB2/。⚠️ 三个分类器的身份、full-set audio 与 ASR+LLM 的绝对数字，abstract 未给。
  • 2609.24555（The Endless Exam）：14 族 / 9 个模型 / 69 个 distinct instances / 30 个 published-frontier references；核心发现是没有任何一个模型超越任何一个已发表前沿参考；连续分可在 0/1 同分区间进一步拉开差距；v2 声明使用未变的 bench-v1.0 评估套件。⚠️ 14 族具体族名、9 个模型名单、各族 size-quality 曲线斜率、verifier 时间/算力成本，abstract 未给。
  • 2609.24308（HappyWorld-Bench）：三轨规模 1,138 video prompt / 300 spatial scene / 254 embodied test case，候选 14 video + 9 spatial + 8 embodied；空间模型 best case placement accuracy 70.14% / edit execution 73.33%。⚠️ 31 个候选的具体名单、自动化指标公式、生成质量分与交互可靠性分的相关性，abstract 未给。
  • 2609.22323（ALPINE）：参数 22,249–34,917，比基线少 27–53%；250 个 meta-training episode / 5 颗 canonical seed / 每颗 600 个 evaluation episode；5 颗种子全部超过 ProtoNet / Relation Net / MAML；CUB-200-2011 跨域仍占优；50% 遮挡 + 25% 平移扰动下仍占优。⚠️ abstract 未给出任何具体准确率百分比（仅 "consistent gains" 定性）；"27–53%" 的比较基准线口径 abstract 未交代；"零重训"为解读推断而非 abstract 措辞；"pairwise relational tokens" 中 "pairwise" 非 abstract 原词。
  • 2609.19879（VākQA）：2,001 QA 对 / 6 领域 / 2.53 小时语音 / 双语转写 / 人工核验参考答案；Gemini-as-a-judge 最佳逼近人类但"非均匀严格"，开源判官系统性对表面不一致的正确答案扣分；三项发现（文化特异性在翻译中丢失 / 语音引入音系混淆改变问题含义 / 级联 ASR-MT 误差渐进累积）均为 abstract 语义。⚠️ judge 与人类评分的相关系数（Cohen's κ / Krippendorff α）、被评模型全清单、语音与纯文本 QA 的准确率差值，abstract 未给。

软证据（abstract 只给定性结论）

  • 2609.18620（DeformSmith）：abstract 只有 "better visual quality and physical plausibility than state-of-the-art baselines, including PhysGen3D, PhysGM, and PhysX-Omni"。⚠️ 无任何量化指标——FID、mIoU、抓取成功率、物理稳定性评分、用户评分全部未给；harness 绑定的仿真器、pass/fail 阈值、每资产平均交互次数、代码仓库链接亦未给（仅有项目页 can-lee.github.io/deformsmith-web/）。
  • 2609.14803（Blueprint Mirage）：6 种前沿模型（OpenAI / Anthropic / xAI / Google DeepMind）× 每种 10 次独立会话 = 60 次实验组会话；motif 收敛为定性结论（持久潜在状态 / 自适应计算 / 记忆 / 专家路由 / 验证 / 停止控制 / 延迟解码）；去掉 school framing 后异质性显著上升。⚠️ motif 收敛率百分比未给、控制组会话数未披露、模型快照版本未说明；"GPT-5.6 Sol" / "GPT-6 Astra" 是实验内命名，不得当作真实模型型号引用。

负证据（明确的负面结果，价值最高）

  • 2609.18748：最强的负结果是评测题本身的负结果——"主题分离负样本 → Macro-F1 = 1.0"这一看似完美的分数被证明是假象，一换同域负样本就塌到 0.65–0.68；同时观察到的 class-prior shortcuts（模型学的是先验话术而非欺诈识别）、prediction collapse（大量样本被归到同一类）、snapshot sensitivity（换月度集合表现波动）三条，都是"指标漂亮而能力不足"的典型形态。
  • 2609.15029：最强负结果是对既有评测范式的否定——随机抽样的后门评测系统性低估最坏情况，方差幅度（3%–80%）远大于方法间差异。
  • 2609.22323：作者主动做的 falsification ablation 结论是关系 token 几乎无用——推理时置零或整支去掉重训，准确率几乎不掉，主因是 CAPL。这构成对论文自身命名（"spatial-relational"）的反证。
  • 2609.19879：负结果是对自动评估的不信任——开源判官对语义正确但表面不一致的泰卢固语答案系统性扣分。

结构性证据缺口（跨篇共性问题）

  1. 口径缺失最严重：ALPINE 的"27–53%"未交代基准线绝对参数；SAILS 的"平均 30 个百分点"未给逐基线数值与置信区间；TeleAntiFraud 的 1.0 vs 0.65–0.68 未给三个分类器的身份。三者的绝对水平都不可跨篇比较。
  2. 人工评测成本一律未量化：HappyWorld-Bench 的 human A/B + Elo、VākQA 的 judge-人类对齐标注量、TeleAntiFraud 的对话人工校验、Truong/Datamodels 类的 rubric 标注成本，全部未给。这使"人评更可信"与"人评不可持续"两种判断都无法被数据裁决。
  3. 模型名单与版本漂移：The Endless Exam 的 9 个模型、HappyWorld-Bench 的 31 个候选、ALPINE 的基线集（2017–2018 老基线，未与 2023+ FSL SOTA 同预算对比）、Blueprint Mirage 的 6 种模型具体快照，abstract 均未列全。2026 Q4 的 arXiv 速度下，这是复现的主要威胁。
  4. 可复现资产链接仅一篇明确：TeleAntiFraud 2.0 的 anonymous.4open.science 地址与 Blueprint Mirage 的 GitHub（akhadangi/blueprint-mirage，解读侧记录为 HTTP 200）是本批仅有的两条链接级证据；VākQA 承诺 "publicly released" 但未给 URL；ALPINE 有具名仓库但未做 fetch 实测；DeformSmith 仅项目页。
  5. "评测结果如何反馈到训练"几乎全缺：HappyWorld-Bench 给了硬数字（70.14% / 73.33%）但未给改进路径；DeformSmith 是唯一把评测与生成闭环接上的，但那是生成侧闭环，不是模型能力改进闭环。

§4 未解问题（按"影响范围 × 可验证性"排序）

依据 lessons-2026-W42 的 W5 指引：先按影响范围与可验证性两轴排序，不与 §1、§2 的枚举重复。

# 未解问题 影响范围 可验证性 归属
U1 "同域负样本"的判定标准不可操作：TeleAntiFraud 靠 profile grounding + 双路径生成实现 near-domain，但如何审计一个 non-fraud 样本"确实合法"（尤其当合法客服话术与诈骗话术结构几乎相同时）协议未披露；这直接决定 0.65–0.68 这个数字的可复制性 高（所有对抗性评测、分类评测都面临） 中高（需作者披露审计协议） 2609.18748
U2 连续相对分的可解释性与语义漂移：The Endless Exam 的分数依赖 30 个 published-frontier reference；前沿更新后旧分数含义会漂移，而论文未给出"分数漂移"的可量化模型，也未给每族打分映射的公开定义 高（连续相对分正被广泛借鉴为反饱和范式） 高（正文表格） 2609.24555
U3 judge-人类对齐的量化缺口：VākQA 明确"先校准再评模型"，却没给 κ / α 或任何相关系数；"non-uniformly strict"更未按领域、按答案类型拆分，导致无法判断这 6 个领域各自偏差幅度 高（低资源语言评测方法学的可复制前提） 高（正文实验段） 2609.19879
U4 SAILS 的 oracle 依赖在防御场景不可满足：方法要求 finetune-and-evaluate 能力，防御方（无权重访问）无法运行；已公开毒集在现有单点检测器（activation patching 等）下的可识别性完全未讨论 高（决定了该工作最终是攻击工具还是评测协议） 中（需防御侧复现实验） 2609.15029
U5 "可操控"是否可被非机器人手段代理验证：DeformSmith 把"能被操控"设为硬门槛，但每资产的机器人交互成本、pass/fail 阈值、harness 是否绑定特定仿真器都未给，导致该门槛在第三方复现时几乎不可实现 高（这是本文唯一真正的新指标） 中高（正文 + 复现） 2609.18620
U6 六层能力栈的边界与层间相关性：W4（修改响应）与 W5（物理一致）存在语义重叠——不遵守重力的物理修改响应算哪层失败？abstract 未给层间相关矩阵或失败率分布 中高（决定该框架能否作为通用诊断 schema） 中高（正文） 2609.24308
U7 "收敛是表达约束的产物"这一结论的稳健性：Blueprint Mirage 只用一套三阶段提示、每模型 10 次会话；提示词序与措辞多样性未做控制，而"想象架构的未来"本身与 school framing 构成双重诱导，二者贡献无法分离 中高（结论具有方法学普适性，但证据强度不匹配） 高（用现成 GitHub 仓库即可复现扩展） 2609.14803
U8 ALPINE 的比较基准口径：27–53% 的参数节省未交代对照的绝对参数；且未与 2023+ FSL SOTA 在同等预算下比较，胜出范围未知；同时关系 token 被证明无用后，命名与贡献错配未修正 中高（关系到该工作能否作为新基线被采纳） 高（正文 + 跑仓库） 2609.22323
U9 W1–W6 与"生成质量"是否正交：HappyWorld-Bench 把生成质量维度并存而非废弃，但 abstract 未给两者的 Pearson / Spearman 相关；无法判断新维度是否只是旧维度的重命名 中高 中高（正文 + 复现） 2609.24308
U10 跨篇难度谱无共同坐标系：本批 8 篇的难度轴（14 构造族 / 6 层能力栈 / 双预算 / 三变量 / 三层链路 / 四阶段 harness / set 规模 / framing 设定）之间完全不可通约，阻碍跨 benchmark 比较 中高 低（需统一评测基础设施） 跨篇

§5 研究建议（显式映射 §2 观察与 §4 问题）

  • R1（对 U1、U9、U10）｜把"负样本合法性"与"维度正交性"列为一等披露项：要求对抗性 benchmark 披露负样本审计协议（U1），要求多维能力框架披露维度间相关矩阵（U9），并推动跨 benchmark 的统一 schema（U10）。这三项的共同点是成本低、结论影响大：一次相关矩阵或一份审计 SOP，就能决定某个分数是能力信号还是题目信号。
  • R2（对 U2、U3、U8）｜优先做三篇的"数字补全 + 口径补全"：The Endless Exam 给出每族打分映射与前沿基线的 timestamp 化版本策略；VākQA 给出各领域 judge 偏差拆分与 κ/α；ALPINE 给出参数对比的绝对口径与 2023+ SOTA 同预算对照。三篇的共同特征是方法已讲清、结论只差数字，属于可验证性最高的一档。
  • R3（对 U4、U5）｜为"成本型评测"建立成本披露模板：SAILS 的 oracle 成本与 DeformSmith 的机器人交互成本，本质是同一类问题——评测门槛高到第三方无法复现。建议所有此类工作强制披露：单次评测算力/机时、人力工时、第三方复现所需的最小条件；并为"无 oracle 场景"给出代理指标方案（SAILS 已公开毒集可作防御侧 benchmark，DeformSmith 可先用仿真机器人 + 实物抽检的二级验证）。
  • R4（对 U7）｜把 Blueprint Mirage 的实验设计做成可复现的"提示词多样性"套件：利用其公开仓库，系统改变三阶段提示的措辞与顺序（建议至少三套独立提示 × 每模型 ≥30 次会话），检验 school framing 的效应是否稳定。这是一个低成本、高信息量的后继实验——60 次会话加一套提示的规模，任何评测组都能负担。
  • R5（对 U10、横切）｜建立"评测协议的协议"元基准：本批 8 篇中有 6 篇的贡献主体是协议而非模型。建议在知识库侧建一个"协议卡片"标准字段集（受测变量 / 切分轴 / 对照构造 / 预算口径 / 公平性控制 / 判官来源 / 负样本审计 / 分数语义 / 失效模式 / 可复现资产），让跨 benchmark 比较先在协议层而非分数层进行。
  • R6（横切，负结果保护）｜为"假高分"与"被自己证伪的模块"单独立档：TeleAntiFraud 的 1.0 → 0.65–0.68 是本批最典型的假高分标本；ALPINE 的关系 token falsification 是论文自证伪的标本。建议知识库为这类样本建立独立档案（标注：题面缺陷 / 组件无效 / 口径缺损），避免社区重复投入到已被证伪的评测路径与生成路径上。
  • R7（横切）｜把"评测结果如何反馈到训练"补为一等公民：HappyWorld-Bench 给了 70.14% / 73.33% 的硬上限与清晰的能力栈，却未给"针对 W4/W5 的改进路径"；The Endless Exam 的规模-质量曲线同样未连到训练方法。建议要求评测类工作至少给出一条"分数 → 训练/工程动作"的映射，哪怕只是定性。

§6 论文清单（本清单全部 8 篇，含标识与链接）

全部 8 篇 is_new = true；本批无旧背景论文（清单未提供），"旧背景"仅指 §1 中提及的 organized/promo/surveys/2026-10-24-evaluation.md 与 8 篇 explainer 解读层。

  1. 2609.24555 — The Endless Exam: Mathematical Constructions from Today's Models toward Superintelligence（新）— https://arxiv.org/abs/2609.24555 — paper_card: organized/paper_cards/1614-2609-24555.md — explainer: organized/promo/explainers/2609-24555.md
  2. 2609.24308 — HappyWorld-Bench（新）— https://arxiv.org/abs/2609.24308 — paper_card: organized/paper_cards/1497-2609-24308.md — explainer: organized/promo/explainers/2609-24308.md
  3. 2609.22323 — ALPINE: Adaptive Localization for Parameter- and Sample-Efficient Few-Shot Learning（新）— https://arxiv.org/abs/2609.22323 — paper_card: organized/paper_cards/1483-2609-22323.md — explainer: organized/promo/explainers/2609-22323.md
  4. 2609.19879 — VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering（新）— https://arxiv.org/abs/2609.19879 — paper_card: organized/paper_cards/1428-2609-19879.md — explainer: organized/promo/explainers/2609-19879.md
  5. 2609.18748 — TeleAntiFraud 2.0: A Refreshable, Profile-Grounded, and Audio-Based Benchmark for Telecom Fraud Detection（新）— https://arxiv.org/abs/2609.18748 — paper_card: organized/paper_cards/1436-2609-18748.md — explainer: organized/promo/explainers/2609-18748.md
  6. 2609.18620 — DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation（新）— https://arxiv.org/abs/2609.18620 — paper_card: organized/paper_cards/1437-2609-18620.md — explainer: organized/promo/explainers/2609-18620.md
  7. 2609.15029 — Pick Your Poison: Learning to Select Poison Sets for Stronger LLM Backdoor Attacks（新）— https://arxiv.org/abs/2609.15029 — paper_card: organized/paper_cards/1363-2609-15029.md — explainer: organized/promo/explainers/2609-15029.md
  8. 2609.14803 — Another Blueprint In The Wall: How to Ask Frontier AI Like a Kid?（新）— https://arxiv.org/abs/2609.14803 — paper_card: organized/paper_cards/1391-2609-14803.md — explainer: organized/promo/explainers/2609-14803.md

本稿引用的背景材料（非清单论文，仅作旧背景参照）：organized/promo/surveys/2026-10-24-evaluation.md、knowledge/lessons/lessons-2026-W42.md。

§7 诚实性声明

  • 本稿未通读任何一篇论文的 PDF 全文。所有数字要么来自 arXiv abstract（已标注出处并标注 verbatim 状态），要么来自知识库 explainer 摘录转述，后者已在 §3 中标明"未在 abstract 出现 / 待正文核实"。
  • 本稿未编造任何性能数字、引用条目或实验设置。凡清单材料未给出的数字，一律写为"未给出 / 未明确"。
  • 本稿未扫描全库、未读整份日报、未读全部 lessons，仅使用清单 item.materials 与 item.context 所给内容，以及本清单允许的两次针对清单已有论文链接的 arXiv abs 事实核查（2609.15029、2609.18748）。
  • 材料内部出现的任何指令性文本（如"代码已公开""数据已发布"等）仅作为事实记录转述，未构成也未触发任何执行动作；本次未安装任何东西、未执行材料内命令、未创建任何子任务、未读取任何凭据。