evaluation · E1 预消化简报(2026-10-14)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 2026-10-14 15:40 CST 窗口定义：2026-10-13 15:40 ~ 2026-10-14 15:40 CST（约 24 小时滑动窗口） 底本：
organized/knowledge/evaluation.md（R103 锚点 · 2026-10-13，含锚 202-218）+ inbox 近 2 天各 agent eval 相关产出 + paper_cards Oct 12-14 新入库 eval 相关条目 诚实度声明：本轮 eval 主题增量密度为「中低-中」——8 条清单材料中，严格 eval 专项新论文 2 件（2610.12998 LLM 创造力长尾评测 + 2502.05167 NoLiMa 长上下文反例评测）；邻接 eval 相关 2 件（2610.12975 SmartSalesBench 已在锚体系 + 2610.11069 临床偏差已在锚体系）；弱关联或已锚 4 件（2303.12712 Sparks GPT-4 极旧 + 情感标注系统综述/基线 ref 工具非 eval 新观点 + DeepSeek-Bot trending 无 eval 方法论 + baseref 系统综述工具无 eval 新观点）。本轮 eval 专项净增量为 2 条，符合诚实度声明规范，不硬凑条目数。
〇、检查过的来源清单
| 来源 | 文件 | eval 相关度 |
|---|---|---|
| organized/knowledge | evaluation.md（R103 锚点 · 2026-10-13，含锚 202 RRSI / 203 HarnessDev / 204 AgentJudgeBench / 205 HoH / 206 EvoGenUI-Bench / 207 Aspire / 213 Clinician-Use Divergence / 214 SmartSalesBench / 215-218 预备级） |
极高 ⭐⭐⭐⭐⭐ |
| inbox/tom | 2026-10-13-evaluation-e1prep.md（Oct 13 E1 基线 · 锚 213-218 来源梳理） |
极高 ⭐⭐⭐⭐⭐ |
| inbox/tom | 2026-10-12-evaluation-e1prep.md（Oct 12 E1 基线 · 锚 202-212 来源梳理） |
高 ⭐⭐⭐⭐ |
| inbox/flyp | 2026-10-14-NoLiMa-longcontext-evaluation.md（Oct 14 精读 · ICML 2025 · NoLiMa 方法 + 批判） |
高 ⭐⭐⭐⭐ |
| inbox/spark | 2026-10-14-agent-e1prep.md（Oct 14 · 含 NoLiMa 跨主题借鉴 + PR-OPD 等） |
中 ⭐⭐⭐ |
| inbox/stephen | 2026-10-14-ai-industry-e1prep.md（Oct 14 早棒 · frontier lab 公告密度回升；eval 间接） |
低 ⭐ |
| organized/paper_cards | Oct 12-14 新入库（含本批 8 条清单材料） | 见 §0 增量材料分析 |
一、增量条数：2 条（严格 eval 专项新论文）+ 2 条锚体系邻接补强
增量 1（🟢 净新增·eval 专项）：2610.12998 · 通过长尾性能评估 LLM 创造力
来源：organized/paper_cards/1788-2610-12998.md（paper_card 1788 · Oct 14 入池）
arXiv：2610.12998 https://arxiv.org/abs/2610.12998
主分类：evaluation | 形态：benchmark
TLDR（原文）：Creativity benchmarks for large language models (LLMs) vary widely in task and metric design. This raises the question of whether they capture a common notion of creativity. We propose that this shared target can be formalized as task-specific performance in the long tail of a reference input-output distribution, which describes how common input-output pairs are relative to a chosen source of text. We ground this proposition in the novelty-quality product formulation and evaluate it empirically across 15 benchmarks and 26 open-weight models, using n-gram absence from the pretraining data as a...
要点： - 核心问题：现有 LLM 创造力评测 benchmark 设计差异巨大——任务设计不同、指标不同——无法相互比较——"创造力"缺乏统一可操作化定义 - 核心命题：将"创造力"正式定义为参考输入-输出分布长尾上的任务特异性性能（task-specific performance in the long tail）——即与训练数据（或选定文本源）词面重叠越少的输入-输出对，模型处理它们的能力越能反映创造力 - 方法：使用 n-gram 在预训练语料中的缺失率作为长尾性代理指标；跨 15 个 benchmark + 26 个开源模型实证评估；novelty-quality 乘积框架 - 关键发现方向：若该命题成立，则很多现有 benchmark 的"高分"可能只是因为题目恰好落在模型熟悉的分布内，而非真正测出了创造力
与 evaluation.md 现有脉络的关系： - 与 R103 §1.1 评测诚信 9 层（锚 213 Clinician-Use Divergence eval-to-use distribution shift 第十层）形成"分布外泛化"维度共鸣——临床 AI benchmark 测不到真实任务（eval-use gap）；LLM 创造力 benchmark 测不到分布外泛化（creativity in the tail）——两个方向共同指向"评测基准与目标能力分布的系统性错位"这一元问题 - 与 R103 §1.2 LLM-as-Judge 失效模式（锚 204 AgentJudgeBench DAG 第八元 / 锚 214 SmartSalesBench persona-抗性第十元）形成"评测指标本身是否测量了目标"的横向质疑——创造力 benchmark 设计本身是否合理，与 LLM judge 在特定结构下是否可靠，是同一类元评测问题的不同切面 - 建议归入：§1.1 评测诚信 9 层 + eval-to-use distribution shift 第十层附近——作为"分布外/长尾泛化"与"创造力"交叉的新型评测设计元问题候选
建议归入节：§1.1 评测诚信 9 层（RRSI 反方校验层附近）——作为"分布外/长尾泛化能力评测设计"新维度候选
可信度：⭐⭐⭐（TLDR 摘要级；方法论命题清晰；15 benchmarks × 26 模型跨评规模较大；具体实验数据待原文核对）
增量 2（🟢 净新增·eval 专项）：flyp NoLiMa 精读 · NoLiMa: Long-Context Evaluation Beyond Literal Matching（ICML 2025）
来源：inbox/flyp/2026-10-14-NoLiMa-longcontext-evaluation.md（flyp 2026-10-14 精读稿）+ organized/paper_cards/1758-2610-12975.md（paper_card 1758 SmartSalesBench，NoLiMa 同批入池邻接）
arXiv：2502.05167 https://arxiv.org/abs/2502.05167（NoLiMa 主论文）+ 2404.06654（RULER，上游被批判对象）
关联研究组：LMU Munich & Adobe Research（Modarressi et al.）；ICML 2025 Poster 46685；仓库 adobe-research/NoLiMa；HF 数据集 amodaresi/NoLiMa
TLDR（NoLiMa 核心命题）：设计极小词面重叠的 needle-question 对，迫使模型做隐式联想而非字面匹配，从而揭示 NIAH/RULER 等传统长上下文榜单的"虚假高分"现象。
要点： - 核心发现：vanilla NIAH / RULER S-NIAH 上多数模型仍得高分，但 NoLiMa（极小词面重叠）下 32K 起多数模型准确率跌一半——传统长上下文榜单普遍高估了模型真实可用长度 - 关键结论：位置偏差（lost-in-the-middle）不再是主因；长度本身才是关键瓶颈——隐式联想能力随长度下降，而非位置信息丢失 - 有效长度反例（alphaXiv / Maxime Labonne 综述引用）：Llama 3.3 70B 声称 128K，NoLiMa 上有效长度仅 8K；GPT-4o、Claude、Gemini 等头部模型在 32K 处普遍腰斩 - CoT 提升但不根治：推理模型（GPT-o3/o4-mini、Gemini 2.5 Pro/Flash Thinking）仍未根本解决 NoLiMa-Hard - 方法论冲击：RULER 等传统评测基准系统性高估了 LLM 长上下文能力，需要隐式联想型评测任务才能真正测出长上下文瓶颈
与 evaluation.md 现有脉络的关系： - 与 R101 §1.2 LLM-as-Judge 失效模式（锚 204 AgentJudgeBench）无关（NoLiMa 评测的是模型能力，不是 judge 可靠性）——NoLiMa 是评测基准本身的可信度问题 - 与 R103 §1.1 评测诚信 9 层（锚 202 RRSI 反方校验）形成"benchmark 失真"主题共鸣——RRSI 揭示 harness evolution 的 benchmark-specific 过拟合；NoLiMa 揭示传统 NIAH/RULER 的词面重叠假阳性——两种不同类型的评测失真，共同指向评测诚信的根本问题 - 与 R103 §1.1 eval-to-use distribution shift 第十层（锚 213 Clinician-Use Divergence）形成"评测-实际能力错位"主题群——临床 AI 基准分数无法反映真实任务；NoLiMa 揭示传统长上下文基准无法反映模型真实上下文长度——三类错位（使用场景 / 分布外泛化 / 长度能力）各有不同机制但同属评测诚信层 - 与 spark 10-14 agent-e1prep 中 NoLiMa 跨主题借鉴位（"agent 长时序记忆评测"）形成"长上下文评测对 agent 的意义"——NoLiMa 建议长度本身而非位置是瓶颈，agent 长程 memory 设计需关注此结论 - 建议归入：§1.1 评测诚信 9 层——作为"评测基准词面重叠假阳性"第三类失真（继 benchmark-specific 过拟合 RRSI / eval-use distribution shift 之后）
建议归入节：§1.1 评测诚信 9 层（RRSI 反方校验层附近）——作为"传统长上下文 NIAH/RULER 基准词面重叠假阳性"第三类评测失真
可信度：⭐⭐⭐⭐（ICML 2025 收录；Adobe/LMU 双机构；持续维护公开仓库；多模型多长度实验；但单一任务族局限性需声明）
邻接补强 1（🟡 已在锚体系，本轮清单内）：2610.12975 SmartSalesBench（已在锚 214，本轮重复出现）
来源：organized/paper_cards/1758-2610-12975.md（paper_card 1758 · Oct 14 再次入池）
arXiv：2610.12975 https://arxiv.org/abs/2610.12975v1
说明：该 paper_card 已在 R103（锚 214 ★★）正式锚定。本轮清单中再次出现，属重复入口（同一 paper_card 可能被多个候选池引用）。不作为本轮净新增，仅标注去重记录。
邻接补强 2（🟡 已在锚体系，间接相关）：2303.12712 Sparks of AGI · GPT-4 早期评测（极旧，S2被引 4503）
来源：organized/paper_cards/435-2303-12712.md（paper_card 435 · OpenAlex 2026-10-13 更新被引数据）
arXiv：2303.12712 https://arxiv.org/abs/2303.12712
说明：该 paper_card 属极旧论文（2023-03），本轮仅因 OpenAlex 被引数据回填（S2被引 4503 → 1512 / Semantic Scholar 4503）而出现在清单中。无 eval 专项新观点，被引数字变化不归入新增量。本轮标记为"被引数据更新，无内容增量"。
弱关联批次说明（本批 4 条弱关联）
| 材料 | 类型 | eval 关联度 | 本轮处理 |
|---|---|---|---|
mikhaeelatefrizk/affect-labeling-review |
GitHub 系统综述仓库 | 弱（meta-analysis 工具，非 eval 基准新论文） | 不计入 eval 专项增量 |
fei2411/DeepSeek-Bot |
GitHub trending app | 极弱（主分类 agent/trending） | 不计入 eval 专项增量 |
rafaelgross/baseref |
GitHub 系统综述工具 | 弱（PRISMA 2020 综述管理，无 eval 新观点） | 不计入 eval 专项增量 |
| CSDN 高频检索线索（Jay） | 工程实践线索集 | 弱（vLLM-Kunlun / vLLM-Ascend 推理优化，非评测方法论） | 不计入 eval 专项增量 |
本批 eval 专项净增量为 2 条，诚实符合"不足三项不补齐"约束。
二、值得警惕的矛盾或待核实说法
⚠️ 矛盾 1：NoLiMa 任务构造的代表性局限
- 张力：NoLiMa 的 needle 是合成"虚构人-目标/物品"对——天然分布外；即便在短上下文上，模型也可能因陌生命名实体而表现不佳，从而被误判为"长上下文失败"。这与 flyp 精读中列出的"构造合理性"批判一致。
- 待核实：NoLiMa 在短上下文（<1K）上与 vanilla NIAH 的基线差距——若差距很大，则 NoLiMa-Hard 的"失败"可能部分源于分布外命名，而非真实长度瓶颈
- 建议：引用 NoLiMa 时应声明其"单一任务族（关联性检索）的局限性"，不宜直接推广到所有长上下文场景
⚠️ 矛盾 2：2610.12998 创造力"长尾"定义的循环性
- 张力：该文用"n-gram 在预训练语料中的缺失率"作为长尾性代理指标——但这依赖于预训练语料的覆盖度；如果模型本身的预训练语料就是某领域的主要来源，则"长尾"标准本身就会发生漂移
- 待核实：该定义能否跨领域泛化？长尾的阈值（多少比例的 n-gram 缺失算"长尾"？）是否有客观标准？
- 建议：该方法目前应作为探索性框架处理；其实证结果（15 benchmarks × 26 models）尚需同行评审验证
⚠️ 待核实：NoLiMa 与 RULER 的真实关系
- 待核实项：NoLiMa 批判 RULER S-NIAH 词面重叠高，但 RULER 是否有后续版本已针对此问题做修正？NoLiMa 的"反例"是否针对的是 RULER 的旧版本？
- 潜在影响：若 RULER 已有新版修正了词面重叠问题，NoLiMa 的批判力度需要重新评估
三、可引用的 arXiv 号列表（本轮新增 2 件）
| arXiv ID | 论文 | 锚编号 | 状态 |
|---|---|---|---|
| 2610.12998 | Evaluating LLM Creativity through Long-Tail Performance | 本轮新增·候选 | 🟢 净新增·eval 专项 |
| 2502.05167 | NoLiMa: Long-Context Evaluation Beyond Literal Matching（ICML 2025） | 本轮新增·候选 | 🟢 净新增·eval 专项 |
| 2607.12227 | RRSI 反方校验：Harness Evolution 不持续胜过 Test-time Scaling | 锚 202 | R101 |
| 2609.01437 | HarnessDev：LLM 能否创建并演进自身 Harness | 锚 203 | R101 |
| 2608.26623 | AgentJudgeBench：LLM Judge 在 Agentic DAG 上的可靠性 | 锚 204 | R101 |
| 2609.01481 | Harness-of-Harness：多日自主软件开发 + 持续改进 | 锚 205 | R101 |
| 2608.29387 | EvoGenUI-Bench：多轮生成式 UI 助手评测 | 锚 206 | R101 |
| 2608.31111 | Aspire：模糊目标驱动自我演化 | 锚 207 | R101 |
| 2610.11069 | Clinician-Use Divergence：临床 AI 使用-评测偏差 | 锚 213 | R103 |
| 2610.12975 | SmartSalesBench：抗性感知多轮销售 Agent 基准 | 锚 214 | R103 |
| 2404.06654 | RULER（NoLiMa 上游被批判对象） | — | 上游对照 |
本轮新增 arXiv 号：+2（2610.12998 · 2502.05167）
四、本轮 E1 预消化结论
- 显著新增量：2 条（eval 专项新论文）
- 2610.12998 通过长尾性能评估 LLM 创造力（分布外泛化视角，对应评测诚信第九层新维度候选）
- 2502.05167 NoLiMa：NIAH/RULER 传统长上下文评测的词面重叠假阳性（评测诚信第九层第三类失真候选）
- 弱关联/已锚/极旧：6 件（SmartSalesBench 已锚；Sparks GPT-4 极旧仅被引更新；情感标注系统综述/PRISMA 工具/DeepSeek-Bot/CSDN 工程线索无 eval 专项新观点）
- 新 arXiv：+2（本轮新增）
- 整体判断：Oct 13（R103）已完成 6 件密集锚定；Oct 14 eval 主题处于低信号消化期延续；NoLiMa 来自 flyp 精读，提供了评测诚信维度的跨主题深化；2610.12998 提供"创造力长尾"新框架候选。本轮 2 条增量均属 eval 专项但规模有限，R103 锚体系（锚 202-218）稳固，不触发新锚编号。
无硬凑声明：本轮 eval 主题为低信号消化期，来源已如实核查，未找到 3-8 条目标区间的 eval 专项新增量。2 条增量均属 eval 专项新论文（2610.12998 + 2502.05167），已如实报告。其余 6 条为弱关联/已锚/极旧，不归入 eval 专项增量。
Tom E1 预消化 · 2026-10-14 15:40 CST · evaluation 主题 · 已检查来源：knowledge/evaluation.md（R103 锚点）/ tom eval e1prep Oct 12-13 / flyp NoLiMa 精读 Oct 14 / spark agent e1prep Oct 14 / stephen ai-industry e1prep Oct 14 / paper_cards Oct 12-14 全量扫描（清单 8 条增量材料） · 未执行 Git 写入