evaluation · E1 预消化简报(2026-10-18)

来源范围：work-guard 清单 8 件 material sources（6 件 paper_card + 1 件 repo_card + 1 件 note-links inbox/tom HF Daily Papers）+ inbox/tom/jay 近 2 天 evaluation 相关笔记 + organized/paper_cards 近 3 天 evaluation 主题条目 检查时间：2026-10-18 15:40 CST

今日增量概览

总增量：6 条（均为邻接，无纯 eval 专项净新增；另有 HF Daily 4 件待选列）

增量条目详述

增量①（LooGLE: ACL 2024 长上下文评测专用基准）🟡 邻接新增

来源：organized/repo_cards/4454-rebecca94510-loogle.md（首次采集 2026-10-18，本系统新见） ArXiv：无（GitHub 仓库；对应论文疑为 ACL 2024 主会论文，需另行核查正式引用格式）

核心要点：

1. 专注长上下文评测：LooGLE（Long Context Evaluation for Long-Context Language Models）是专为评估 LLM 长上下文能力设计的 benchmark 工具，区别于通用 MMLU/HellaSwag 类短文本评测
2. 评测对象：Long-context language models 的上下文窗口有效利用能力
3. 本系统状态：2026-10-18 首次采集，Stars 0，成熟度 experimental——尚未进入正式锚体系

与 evaluation.md 现有脉络的关系： - 邻接 R104 NoLiMa（锚预备级 220）——NoLiMa 揭示现有长上下文评测系统性高估有效长度；LooGLE 作为专用长上下文评测基准，与 NoLiMa 反方共同构成"长上下文评测失真-专用基准"双层结构 - 邻接 R105 IR/retrieval 评测方法学群（锚预备级 224-227）——长上下文评测是 retrieval/evidence 召回能力的重要子维度

建议归入：§1.5 邻接（长上下文评测专用基准工具）

可信度：⭐⭐⭐（ACL 2024 会议论文有正式发表；本系统首次采集，Stars 0 反映社区曝光度低，实验性阶段；建议补充正式论文链接后建锚）

增量②（MAI-Gym: 多环境 GUI Agent 开放评测平台）🟡 邻接新增

来源：HF Daily Papers 2026-10-18（arXiv:2610.20939） ArXiv：2610.20939 · https://arxiv.org/abs/2610.20939

核心要点：

1. 评测范围：跨 Mobile 和 Computer 环境的 GUI Agent 评测 + RL 训练一体化开放平台
2. 评测场景：MAI = Mobile + AI；覆盖移动端与桌面端 GUI agent 任务
3. 开源属性：All-in-One Platform——平台化评测基础设施，与 R105 Langfuse（锚 228）同为开源评测平台——Langfuse 侧重 LLM 应用可观测性，MAI-Gym 侧重 GUI agent 任务执行评测
4. RL 训练双重性：不仅评测 agent，还支持 RL 训练——评测即训练数据生成平台

与 evaluation.md 现有脉络的关系： - 邻接 R105 Langfuse（锚 228 ★★★）——同为开源评测平台；Langfuse 通用 LLM 应用，MAI-Gym 专注文档 agent GUI 场景 - 邻接 R101-R102 推理系统评测演化——GUI agent 评测是"具身/工具使用 agent"评测的新子类 - 与 §2.2 评测平台与 CI Gate 形成平台层双锚（Langfuse 通用 + MAI-Gym GUI 专项）

建议归入：§2.2 邻接（多环境 GUI Agent 评测平台）

可信度：⭐⭐⭐（HF Daily 精选 153▲，社区票数较高，arXiv 全文可引；⚠️ 实验设置细节待核）

增量③（RoTA-Bench: 3D 空间推理评测）🟡 邻接新增

来源：HF Daily Papers 2026-10-18（arXiv:2610.17665） ArXiv：2610.17665 · https://arxiv.org/abs/2610.17665

核心要点：

1. 评测方法：通过交互式投影对齐（Interactive Projection Alignment）评估 3D 空间推理能力
2. 评测维度：Spatial intelligence——区别于 2D 图像理解，是 3D 具身智能的专项评测维度
3. 评测粒度：投影对齐（projection alignment）——一种新的空间推理量化范式

与 evaluation.md 现有脉络的关系： - 邻接 §3 维度化指标体系——3D 空间推理作为独立评测维度加入指标体系 - 邻接 multimodal 评测——视觉语言模型空间推理能力的新评测维度 - ⚠️ 注意：与 §3.5 agent coding 或有交叉（具身 agent 空间理解能力）

建议归入：§3 邻接（空间推理评测维度）

可信度：⭐⭐（HF Daily 201▲，票数尚可；具体实验设置、任务数量、模型覆盖待核）

增量④（OmniVerifier-C1: 分层分级规则约束世界模型验证）🟡 邻接新增

来源：HF Daily Papers 2026-10-18（arXiv:2610.22355） ArXiv：2610.22355 · https://arxiv.org/abs/2610.22355

核心要点：

1. 评测对象：Rule-governed generative world modeling——规则约束的生成式世界模型
2. 评测方法：分解式分级验证器（Decomposed Graded Verifier）——将世界模型评测分解为多个分层验证任务，而非单一通过/失败指标
3. 评测粒度创新：分级（graded）而非二元——评测粒度从"通过/失败"向"多级符合度"演进

与 evaluation.md 现有脉络的关系： - 邻接 §3 维度化指标体系——graded verifier 是评测粒度从二元向多元演进的方法学证据 - 邻接 R101 LLM-as-Judge 失效模式——graded verifier 或可缓解 judge 的二元偏好问题 - 与 R103 SmartSalesBench 第十元（锚 214）形成评测粒度演化双线：persona 抗性 + 分级验证

建议归入：§3 邻接（世界模型分级验证评测）

可信度：⭐⭐（HF Daily 28▲，低票；⚠️ 评测方法论成熟度待独立核验）

增量⑤（VHA: Virtual Head Attention 长上下文注意力 Pareto 解）🟡 邻接新增

来源：inbox/tom/2026-10-18T0840-agent-rag-longcontext-radar.md（arXiv:2610.17959） ArXiv：2610.17959 · https://arxiv.org/abs/2610.17959

核心要点：

1. 核心贡献：Pareto 最优注意力压缩方案——同时优化 KV Cache 规模、训练/Pre-fill FLOPs 和下游质量三角
2. 方法：Q Premix（近恒等变换）+ Linear Postmix（低秩跨组混合）——两个轻量线性操作实现激进压缩
3. 实验结论：物理 Query 头减半、KV Cache 降至架构下限同时提升质量；128K 持续评估验证
4. 评测关联：长上下文注意力质量下降是 NoLiMa 类长上下文评测失真的技术根源之一；VHA 提供了注意力层的改进证据

与 evaluation.md 现有脉络的关系： - 邻接 R104 NoLiMa（锚 220）——NoLiMa 揭示长上下文有效长度失真；VHA 提供注意力层的技术改进方向——两者形成"评测诊断-系统改进"闭环 - 邻接 §1.5 长上下文评测——VHA Pareto 最优是评测环境（128K 持续评估）的技术支撑

建议归入：§1.5 邻接（注意力架构 Pareto 优化）

可信度：⭐⭐⭐（arXiv 全文可引；⚠️ 仅 MoE 架构验证，Dense 模型普适性待核；社区引用有限）

增量⑥（Sparks of AGI: GPT-4 早期实验历史锚）⚪ 历史地标

来源：organized/paper_cards/435-2303-12712.md（2023-03，OpenAlex 更新 2026-10-18） ArXiv：2303.12712 · https://arxiv.org/abs/2303.12712

核心要点：

1. 历史地位：GPT-4 早期实验研究——提出 GPT-4 属于"更通用智能"新一代 LLM 的判断
2. 引用量：S2 被引 4503 + 影响力被引 258——AGI 评测议题的引用起点文献
3. 评测维度：多模态能力评测早期探索——奠定了 2023-2026 AGI benchmark 讨论的框架
4. 本轮来源：OpenAlex discover 2026-10-18 更新入卡——本次为更新发现，非新发表

与 evaluation.md 现有脉络的关系： - 归 §7.5 历史锚——作为 AGI 评测讨论的历史起点，GPT-4 早期实验是 2023 年 AGI 评测范式的锚定文献 - ⚠️ 不升正式锚（2023年老文献，S2 4503 为历史积累，非今日新增信号）

建议归入：§7.5 历史地标（不升正式锚）

待核实矛盾与警示

⚠️ LooGLE 社区曝光度异常低

• Stars 0，首次采集 2026-10-18，成熟度 experimental
• ACL 2024 会议论文理应有社区传播；Stars 0 可能反映：GitHub 仓库未同步建立、或论文未开源代码
• 建议：核查 LooGLE 是否有正式代码仓库及 ACL 官方论文链接，再决定是否升锚

⚠️ MAI-Gym / RoTA-Bench / OmniVerifier-C1 均为 HF Daily 新上榜

• 今日 HF 精选 15 篇，从 665▲ 到 28▲ 票数差异悬殊
• 三篇低票论文（MAI-Gym 153▲、RoTA-Bench 201▲、OmniVerifier-C1 28▲）的实验规模、复现性、社区接受度均待独立核验
• 建议：⚠️ 不以 HF 票数作为评测价值判断唯一依据；须对照正式论文方法章节

⚠️ Epoch AI "AI 自动化 R&D"评论区未获取正文

• 来源：inbox/jay/2026-10-18T1220-csdn-discovery.md
• 核心断言"验证者必须与生成者不同质"值得记录，但原文付费未读，15% 等关键数字无法核实
• 建议：evaluation.md 评测诚信原则下，此条仅作"待核线索"归档，不作为正式引用

⚠️ CrowdStrike 钓鱼点击率数据（60%+）单一来源

• 来源：inbox/jay 同上
• 60% 钓鱼点击率来自 Sentonas 本人陈述，未见同行评审或第三方交叉验证
• 与 evaluation 关联：⚠️ 该数据如属实，可作为 AI 辅助攻击评测的威胁模型输入，但当前可信度不足

本批可引用 ArXiv 号列表

有效引用（本批次可信度最高 5 件）：2303.12712 · 2610.05949 · 2610.17959 · 2610.20939 · 2212.05856

与活文档 knowledge/evaluation.md 的整合建议

整体判断：本批增量以邻接为主，无 pure eval 专项净新增；Langfuse 锚 228 仍是 evaluation 唯一正式锚平台；NoLiMa 锚 220 仍是长上下文评测失真核心锚。本批价值在于评测平台专项化（MAI-Gym）和长上下文闭环（LooGLE+VHA）。

检查过的来源清单

• ✅ organized/paper_cards/1711-2610-05949.md（Turba Morocco · evaluation benchmark）
• ✅ organized/repo_cards/4454-rebecca94510-loogle.md（LooGLE · evaluation 首次采集）
• ✅ inbox/jay/2026-10-18T1220-csdn-discovery.md（CSDN · Epoch AI / 钓鱼数据线索）
• ✅ inbox/tom/2026-10-18-0900-hf-daily-2026-10-18.md（HF Daily 15 篇）
• ✅ inbox/tom/2026-10-18T0840-agent-rag-longcontext-radar.md（VHA · 2610.17959）
• ✅ organized/paper_cards/1649-2212-05856.md（ChatGPT Early Adopters · 2212.05856）
• ✅ organized/paper_cards/163-2606-14061.md（Multimodal Repo-level · 2606.14061）
• ✅ organized/paper_cards/435-2303-12712.md（Sparks of AGI · 2303.12712）
• ✅ inbox/tom/2026-10-16-evaluation-e1prep.md（前次 E1 基线）
• ✅ organized/knowledge/evaluation.md（R106 锚体系全文）
• ✅ work-queue.md（已阅）
• ✅ 近 2 天 inbox tom/jay/flyp/spark/stephen evaluation 相关文件（已扫描，无直接新增）

idle 判断依据：有 6 条有效邻接增量，无 idle 条件触发。