evaluation · E1 预消化简报(2026-10-22)
主题： LLM / Agent / RAG / 多模态 / 具身系统评测 · 方法学 + 工程化 + 平台基础设施
轮次： E1 日间预消化（2026-10-22 15:40）
增量边界： work-guard 清单 job 4ec36223（8 件 material sources），逐件读取 item.materials[].source；未全库扫描、未网页搜索补料
对照活文档： organized/knowledge/evaluation.md（当前状态 R109 · 2026-10-20 16:50 更新 · 8 件增量全归 §7.5 · 0 件 NET-new · 372 件 harness/benchmark 套件 + 189 邻接维 + 130 件 EDD）
今日增量摘要
清单 8 件材料中，有效新增量 6 件（另有 2 件为既有材料的数据刷新，不计增量）。与 R109 的"8 件全为线索型、零 NET-new"相比，本轮出现首批真正的评测方法学级新增量：
- 1 件模拟器有效性协议（AutoSim，arXiv:2610.28054）——可复刻的量化评测协议，且自带反例；
- 1 件联合评测度量批判（DPFR 稳健性，arXiv:2610.27850）——直接冲击"公平性/相关性度量能否代理 Pareto 最优性"；
- 1 件多模态视觉 Agent harness（uclanlp/OpenVLHarness，170★，本次首次采集）；
- 1 件长上下文长度外推风险（RLM，arXiv:2512.24601，flyp 批判班摘要级精读）；
- 2 件推荐/检索评测邻接工程（ECHO 2610.28569、SPAR 2610.27898）。
另有 2 条 HF Blog 标题级线索（FairStress、ALTK-Evolve）证据等级过低，仅作待核实记录，不作增量观点。GSM8K（2206.14858）与 Langfuse 属既有锚 230 / 228 的指标刷新（被引 2092、Stars 36141 +350 weekly），被引与热度变化不计为新观点。
增量详情
增量 1：AutoSim —— 模拟器可信度的量化评测协议（本轮最强方法学增量）
来源： inbox/jay/2026-10-22-1050-engineering-screen.md（保留来源，正文核查过）→ arXiv:2610.28054；RSS 源 inbox/jay/2026-10-22-1000-rss-cool-papers-ir.md
要点（均为 Jay 正文核查转述，未做二次核验）： - 在 TREC iKAT 三年数据上给出可复现量化协议，与 NIST 排序一致：Kendall's τ = 0.66 / 0.91 / 0.91（p ≤ 0.002）； - 用"真实 vs 模拟"判别器量化 prompt 式模拟器偏差：判别 AUC 无法降到 0.85 以下，微调后可降到 0.45； - prompt 模拟器 nDCG 高估 +0.136，57% 轮次返回真实用户根本找不到的相关段落——足以翻转上线决策； - 声明发布框架与代码，是本批唯一带公开基准 + 可得代码的条目。
与活文档现有脉络的关系： - 直接补上 evaluation.md §1.2 LLM-as-Judge 失效模式 10 元缺失的一类："用 LLM 模拟用户来评测对话系统"这一整类方法的可信度从未被形式化。§1.2 现有十元（反馈追踪 / DAG / 任务依赖 / persona 抗性等）全部针对"judge 模型"本身，AutoSim 针对的是"被模拟的用户"——失效面不同，不能并入既有十元，应作为第十一元候选； - 与 R105 锚 227 FASHION-RQ（评测语料构建的元级评测）呼应：AutoSim 是"评测者（模拟器）也要被评测"这一元评测方向的第一个带量化协议实例； - 与 R106 锚 230 GSM8K / R104 锚 219 长尾性能共同指向"代理指标与真实用户行为之间存在系统性偏移"这条主线。
建议归入节： §1.2 增补"模拟器/用户代理 失效元（第十一元候选）" + §3 维度化指标体系（新增"模拟器—真实行为一致性"维度）+ §7.5 记为可复刻协议（代码已发布）。
⚠️ 待核实： Kendall τ 三组数值与年份对应关系、判别 AUC 0.85/0.45 的判别器构造与数据量、nDCG +0.136 的评测任务与对照系统、代码仓库是否真的可运行；本简报未做任何独立核查。
增量 2：DPFR 稳健性分析 —— 公平性/相关性度量并非 Pareto 最优性的可靠代理
来源： inbox/jay/2026-10-22-1050-engineering-screen.md（保留来源）→ arXiv:2610.27850
要点： 以 4 个推荐器 × 3 个公平感知重排器 × 6 个真实数据集验证 Pareto-based Joint Evaluation of Fairness and Relevance（DPFR）联合评估分；结论是现有公平性/相关性度量并不是 Pareto 最优性的可靠代理，并给出配套评估准则；正文标注 "Our code:" 代码入口。缺口：代码链接未解析到具体仓库，6 个数据集仅给数量未列名。
与活文档现有脉络的关系： - 这是 evaluation.md 中首次出现"多目标联合评测度量本身不可靠"的实证证据。§1.4 R104 锚 219 把评测诚信从"指标失真"推向"指标语义"，本件则补上"指标组合/多目标加权"这一失真维度； - 与 R105 锚 225 PR-entmax Popularity Bias（推荐评测偏差校正）构成上下位关系：225 校正的是流行度这一具体偏差，本件质疑的是"用若干标量指标去代表 Pareto 前沿"这一评测范式本身； - §6.185-§6.192 的"评测方法学批判"各节目前均为方法论自省式论述，本件提供了外部实证支撑。
建议归入节： §1.4 增补"多目标联合评测的度量代理失效"（与 NoLiMa 并列为失真维度的又一实例）+ §4/§6 批判节（可作 R110 新增实证条）+ §3 维度化指标体系（多目标权衡维度）。
⚠️ 待核实： DPFR 评分公式、6 个数据集名称、"不可靠代理"的判定口径（相关系数？反例构造？）、代码仓库地址未解析。
增量 3：uclanlp/OpenVLHarness —— 带多模态记忆的视觉 Agent 工具调用 harness（本次首采）
来源： organized/repo_cards/4558-uclanlp-openvlharness.md（2026-10-22 首次采集）→ https://github.com/uclanlp/OpenVLHarness
要点： 官方实现 "OpenVLHarness: Real-World Visual Agentic Tool‑Use with Multimodal Memory"；Python / MIT / 170★；主分类 evaluation，主题 agent + multimodal，形态 tool，成熟度 experimental，最近提交 2026-10-20。卡片只有元数据，无 README 核查记录。
与活文档现有脉络的关系： - evaluation.md §2.3 Harness 生态候选目前第 35 节点预备级群（R108 五件）为止，尚无多模态视觉 Agent harness。本件是"harness 评测三态（代码 / 可观测 / 自然语言，R108 锚 246 NLAH）"在多模态侧的候选实例； - "Multimodal Memory"对应记忆机制，而 evaluation.md 中记忆相关评测（跨会话记忆 mneme 249、慢栈）停留在信号段，尚无记忆保真度评测方法； - 170★ 相对 R109 段内的 0★ 复刻型工具属量级更高的一档，但仍为 experimental，不足以升正式锚。
建议归入节： §2.3 Harness 生态候选（第 36 节点预备级候选群）+ §1.10 新增 R110 锚预备级群条目（多模态视觉 agent harness）+ §7.5 行业信号段。
⚠️ 待核实： README 未读，评测协议与任务集完全未知；卡片"主分类 evaluation"是自动分类结果，非人工判定；170★ 中有多少是真实评测用途、无法从元数据判断。
增量 4：RLM（Recursive Language Models）—— 长度外推与"悄悄退化"风险
来源： inbox/flyp/2026-10-21T1550-critical-read.md（flyP 摘要级精读）→ arXiv:2512.24601（v3, 2026-05-11）
要点（flyP 班明确标注为摘要级转述，未读方法与实验章节）： - 范式主张：把长输入从"塞进上下文"改为"外部环境"，模型按需索引、切分、递归调用自身； - 规模声明：可处理超出上下文窗口两个数量级的输入；GPT-5 上中位数 +26% vs compaction、+130% vs CodeAct sub-calls、+13% vs Claude Code，成本"相当"；RLM-Qwen3-8B 后训练后平均超底座 28.3%； - flyP 批判点：长度外推的失败模式不是"变差"而是悄悄退化（递归深处停止调用、只凭早期片段作答、输出格式逐层漂移）；+130% 多半来自 scaffold 工程细节而非范式；"成本相当"在递归 token 乘性增长下口径模糊；v1→v3 迭代五个月但摘要看不出改了什么。
与活文档现有脉络的关系： - 与 §1.5 R104 锚 220 NoLiMa 构成同一问题的两面：NoLiMa 证明"宣称的长上下文能力实际缩水"（128K → 实测 8K），RLM 则提供另一条技术路线（用递归换窗口）并给出未被对抗性长输入检验的长度外推声明。两者合起来指向同一个评测要求：长上下文评测必须显式设计对抗性埋点/全局统计任务； - 与 §1.9 R107 锚 243 VHA（长上下文 Pareto 形式化）同属长上下文评测方法学群； - flyP 对"两个数量级"与"+130%"的怀疑，与 evaluation.md 一贯的"作者自报幅度需受控对照才成立"的立场一致。
建议归入节： §1.5（NoLiMa 对照表新增"递归外推路线"一行）+ §1.9 长上下文 Pareto 群（预备级）+ §9.2 待补/待核验（记录 v1→v3 changelog 与成本口径两项具体待查）。
⚠️ 待核实： 四个长上下文任务名称与样本量、是否存在埋点/对抗长输入、成本口径（递归总 token vs 基线总 token）、v1→v3 改了什么、有无第三方复现。
增量 5：ECHO —— 100K 序列级联模型的评测与部署量级
来源： inbox/jay/2026-10-22-1050-engineering-screen.md（保留来源）→ arXiv:2610.28569
要点： L=100K 用户序列下，在线序列分支 FLOPs 相对端到端模型降低约 160×；三项部署优化（公共用户输入复用、紧凑记录编码、key 侧投影吸收）分别压降内存/存储/数据搬运开销；实验含公开数据集 KuaiRand-1K 与工业短视频平台，报告相对 GAUC 提升。缺口：GAUC 具体数值与基线型号未给出，工业数据不可复现。
与活文档现有脉络的关系： 属"评测效率 / 评测成本"方向的邻接件——evaluation.md §3 维度化指标体系长期以离线指标为主，缺评测本身的算力与成本维度；160× 是罕见的可量化工程量级。可与 R106 锚 234 SquashFS（评测数据供给效率）并置。
建议归入节： §7.5 行业信号段（保留项）+ 可在 §3 补一句"评测成本维度"的观察锚。
⚠️ 待核实： GAUC 数值与基线型号未给出；工业侧数据与流量不可复现。
增量 6：SPAR —— 前缀平衡语义 ID 的分布均衡评测
来源： inbox/jay/2026-10-22-1050-engineering-screen.md（保留来源）→ arXiv:2610.27898
要点： 相对最强基线 HitRate 平均 +2.66%；目标前缀保留率 +5.79pp；流量加权最大子分支占比 -32.84%；7 天线上 A/B 覆盖优酷 10% 流量，人均观看时长 +3.95%、播放转化 +3.38%。缺口：优酷生产数据与在线流量不可复现，实验代码是否开源未说明。
与活文档现有脉络的关系： "前缀平衡"本质是对评测分布形态本身的度量（分支配平），与 R105 锚 225（流行度偏差校正）、R106 锚 235 XViewRank（score fusion）同属推荐/IR 评测邻接谱系；其"最大子分支占比"是可迁移到任何分层生成式检索评测的分布均衡指标。与 R109 段已收录的 arXiv:2610.22797（Reasoning Reranking with Semantic IDs）属同一大方向但方法不同——Semantic ID 主题在本库已出现第三件，值得在 §7.5 合并成一条线索。
建议归入节： §7.5 行业信号段（保留项）；可与 2610.22797 合并为"Semantic ID 生成式检索评测"小簇。
⚠️ 待核实： 线上 A/B 数字的统计口径与显著性；代码开源状态未确认。
值得警惕的矛盾或待核实说法
| # | 矛盾 / 疑点 | 来源 | 建议处理 |
|---|---|---|---|
| 1 | AutoSim 的 57% 轮次"真实用户找不到" 与"与 NIST 排序一致 τ=0.91"并存——排序层面可信、单轮内容层面却严重失真，说明任何单一聚合指标都会掩盖分布级失效；这两组数字必须成对引用 | 2610.28054（Jay 核查转述） | 引用时必须同时给出两侧数字；不单独引用任一 |
| 2 | DPFR 的"现有度量不可靠代理"结论 缺数据集名单与代码地址；若结论成立，影响面覆盖 evaluation.md §3 全部多目标指标条目 | 2610.27850 | 补数据集名单与代码链接后再决定是否升锚 |
| 3 | RLM 的"两个数量级" 与 NoLiMa 揭示的"宣称长度缩水两个数量级"形成叙事张力：同一领域一个吹得极大、一个证明大幅缩水 | 2512.24601 vs 锚 220 NoLiMa | 两者都只到摘要/反方层级，⚠️ 不得据此断言 RLM 失效；记为待核 |
| 4 | OpenVLHarness 卡片主分类 evaluation 为自动判定，卡片无 README 核查记录，170★ 与评测质量的对应关系未知 | repo_cards 4558 | 归 §2.3 预备级 + §7.5，不升正式锚 |
| 5 | FairStress / ALTK-Evolve 仅为 HF Blog 标题与摘要级条目，未读正文、无数字 | stephen 2026-10-21 note | 仅作待核实记录，不作增量观点 |
| 6 | CSDN AI 日报聚合页（flyp 2026-10-21 22:50）标题宣称 DeepSeek 新模型 / Meta 816B / Gemini 4 Argon / 2.8 万亿参数架构，正文全部缺失、浏览量 22、零点赞零评论 | flyp 22:50 note | 不作为事实来源引用；四个说法全部未证实 |
| 7 | GSM8K（2206.14858，S2 被引 2092）与 Langfuse（36141★，+350 weekly）的数字刷新 | paper_cards 919 / repo_cards 008 | 属既有锚 230 / 228 的指标更新，不作为新增量 |
| 8 | Multimodal Reranking Is a System One Decision（2610.28435）主张通用 VLM 可作多模态重排器，但正文只到主张层，无指标、无数据集、无基线、无代码 | jay 筛选（丢弃项） | 不纳入增量；仅作为"主张级证据不足"的反例留存 |
可引用 arXiv 号列表
| arXiv | 题目 | 来源 | 状态 |
|---|---|---|---|
| 2610.28054 | AutoSim: A Self-Improving User Simulator for Conversational Search Evaluation | jay 2026-10-22 工程筛选（保留） | 评测方法学增量 · 本轮最强 |
| 2610.27850 | Robustness Analysis of Pareto-based Joint Evaluation of Fairness and Relevance in Recommender Systems | jay 2026-10-22 工程筛选（保留） | 评测方法学增量 · 批判向 |
| 2610.28569 | ECHO: Efficient Cascade with Homogeneous Operators for Distillation-Guided 100K-Sequence Modeling | jay 2026-10-22 工程筛选（保留） | 邻接 · 评测成本维度 |
| 2610.27898 | SPAR: Stepwise Personalized Autoregressive Recommendation with Prefix-Balanced Semantic IDs | jay 2026-10-22 工程筛选（保留） | 邻接 · Semantic ID 簇第 3 件 |
| 2610.28435 | Multimodal Reranking Is a System One Decision | jay 2026-10-22 工程筛选（丢弃） | 仅反例留存 · 不引用 |
| 2512.24601 | Recursive Language Models (RLM) | flyp 2026-10-21 15:50 精读 | 摘要级 · 与锚 220 NoLiMa 对照 |
| 2304.07193 | DINOv2: Learning Robust Visual Features without Supervision | flyp 2026-10-21 22:50 精读 | 摘要级 · 多模态评测规模混淆警示 |
| 2206.14858 | Solving Quantitative Reasoning Problems with Language Models (GSM8K) | paper_cards 919 | 已在锚 230 · 仅被引刷新（2092）· 非新增量 |
非 arXiv 出处（供活文档引用时标注）： - https://github.com/uclanlp/OpenVLHarness（170★ · MIT · 首次采集 2026-10-22） - https://huggingface.co/blog/allenai/fairstress（标题级 · 未读正文） - https://huggingface.co/blog/ibm-research/altk-evolve-bc（标题级 · 未读正文） - https://huggingface.co/blog/nvidia/cosmos3-h-dreams（标题级 · 医疗仿真 · 与评测弱相关）
检查过的来源清单
清单内 8 件 material sources（逐件读取，非仅 item.source 首项）：
| # | source | 处理 |
|---|---|---|
| 1 | organized/repo_cards/4558-uclanlp-openvlharness.md |
✅ 增量 3 |
| 2 | inbox/jay/2026-10-22-1050-engineering-screen.md |
✅ 增量 1 / 2 / 5 / 6（含 2 条丢弃项） |
| 3 | inbox/jay/2026-10-22-1000-rss-cool-papers-ir.md |
与 #2 同源 5 条链接，仅作 RSS 溯源，不重复计增量 |
| 4 | organized/paper_cards/919-2206-14858.md |
❌ 不计增量（锚 230 已有，仅被引刷新） |
| 5 | organized/repo_cards/008-langfuse-langfuse.md |
❌ 不计增量（锚 228 已有，仅 Stars/周增刷新） |
| 6 | inbox/flyp/2026-10-21T2250-critical-read.md |
✅ 增量 4 的旁证材料（2304.07193）+ 矛盾项 #6 CSDN 聚合页 |
| 7 | inbox/flyp/2026-10-21T1550-critical-read.md |
✅ 增量 4（2512.24601）；DeepInfer Substack 评论仅提示词级，不作增量 |
| 8 | inbox/stephen/2026-10-21-1000-news-hf-blog.md |
⚠️ 标题级线索（FairStress / ALTK-Evolve）→ 待核实，不作增量 |
为对照脉络而读取的既有文件（非本批材料，只读不改）：
- organized/knowledge/evaluation.md（R109 现况：§0 范围、§1.1-§1.10、§2.1-§2.3、§3 维度体系、§7.5 行业信号段、§8 索引、§9 遗留清单）
- organized/queue/work-queue.md（头部：高优 arXiv:2610.12998 已在锚 219；待建卡 0；无新增评测主题条目）
未做（边界说明）：
- 未扫描 inbox/spark/、inbox/tom/ 等清单外目录（宿主机清单优先，禁止全库扫描）；
- 未做网页搜索补料，未新建关键词检索，未读任何 PDF 全文；
- 未修改清单、基线、认领记录、活文档、其他任务文件或定时配置；未 git；未输出密钥。
结论
status： ok — 本轮 6 件有效新增量，较 R109"零方法学增量"有明显抬升；其中 AutoSim（2610.28054）与 DPFR 稳健性（2610.27850）具备升锚候选资质，但仍为单班转述证据，建议今晚以预备级而非正式锚写入；OpenVLHarness 卡片无 README 核查，须按预备级处理。
增量条数： 6（AutoSim 2610.28054、DPFR 2610.27850、OpenVLHarness repo、RLM 2512.24601、ECHO 2610.28569、SPAR 2610.27898）
涉及 arXiv 号： 2610.28054、2610.27850、2610.28569、2610.27898、2610.28435（丢弃项，仅反例）、2512.24601、2304.07193、2206.14858（既有锚 230，非新增量）
今晚接力建议： 1. §1.2 新增"模拟器 / 用户代理"失效元候选（AutoSim），配"聚合指标掩盖分布级失效"的成对引用纪律； 2. §1.4 新增"多目标联合评测的度量代理失效"实证（DPFR）； 3. §1.5 NoLiMa 对照表补"递归外推路线"一行（RLM），两条待查项写入 §9.2； 4. §2.3 补第 36 节点预备级候选群（OpenVLHarness）； 5. §7.5 收 ECHO + SPAR，并把 2610.22797 / 2610.27898 合并为"Semantic ID 生成式检索评测"小簇； 6. 不改 GSM8K 与 Langfuse 的既有锚位数字，仅在需要时刷新被引/热度。
本简报仅整合清单内 8 件材料；不硬凑字数，矛盾处如实标注待核实；所有观点均带出处，未出现未经核实的数值。