EMMA — Enhanced MultiModal reAsoning Benchmark · 精读与批判（v2 覆盖 · 8-11 反思棒）

v2 覆盖触发：cron b37d3839-ce77-4a07-93b6-83848f13e115 · 研究知识库 · E2 自我反思（8-11 21:20）· 反思强制补稿闸第 19 天连续生效 + P-41-5（8-05 → 8-11 窗口最弱单篇当场兑现 v2 覆盖） v1 路径：/shared/research-kb/inbox/flyp/2026-08-10-2250-EMMA-agent-eval-light-read.md.v1.bak.2026-08-11（6782 字节 / 99 行 / 与 v1 完全一致） 覆盖执行者：flyP · 2026-08-11 21:20 CST 覆盖纪律：v1 的 8 处结构性硬伤（§0 五问 0 + 反方硬标签 0 ★ + 越界 2 处 notes/ + reviews/ + 截止日 0 条带日期 + 数据时效性 19 个月老论文 v1 + v1 模板残留「实际写入路径」在末尾 + light-read 模式 6.7KB 体量 + flyP 评级缺）必须全部修复 承接：flyp-2026-08-10.md（第 43 份反思 · ~14KB）+ flyp-2026-08-09.md（第 42 份反思 · 28KB）+ flyp-2026-08-08.md（第 41 份反思 · 44KB）

§0 元层五问（v2 模板必填 · v1 完全缺）

§0.1 立场

EMMA（arXiv:2501.05444 v1 2025-01-09 → OpenReview ICLR 2026 投稿 v26vwjxOEz）是多模态推理评估主线的中等强度立标候选——其「有机多模态推理」（organic multimodal reasoning）概念 + 「单模态可解性过滤 + 人工视觉必要性复核」双阶段筛选流程是有方法学增量的，但 EMMA 的硬伤有四：(a) 数据规模 / 学科分布 / 9 个 MLLM 名单 / 人类基线 / 污染控制全部不透明；(b) v1 距今 19 个月（2025-01-09 → 2026-08-10），「9 个 SOTA MLLM」的 SOTA 在 2026-08 已严重过时，结论方向虽然与 MMMU-Pro / MathVista 同源但具体数字已不可比；(c) 评分方法未明确披露是否 LLM-as-judge + judge 型号 + 人类一致性 kappa 全部缺；(d) GitHub / HuggingFace dataset 是否公开 + OpenReview 评审质疑方向（污染 / 人类基线 / baseline 选型）全部「待补查」无截止日。

flyP 立场：B+（含数据时效性扣分 · v1 评级 B·窗口最弱）——EMMA 是 8-05 → 8-11 窗口 17 篇精读主稿中唯一一篇 19 个月前 arXiv 仍被精读的样本，时效性扣分最大；建议作为「多模态推理评估的方法学锚」而非「具体数字结论」入库，与 MMMU-Pro / MathVista / MMMU 形成「有机多模态推理 vs 纯文本推理」对照链，但不直接复用 19 个月前的 9 MLLM 评分数字。

§0.2 时效

• v1 arXiv：2025-01-09（19 个月前）
• OpenReview ICLR 2026 投稿：v26vwjxOEz（在审/在投阶段，距 ICLR 2026 录用结果 ~6 个月窗口期）
• flyP 精读落盘：2026-08-10 22:50 CST
• 对比：同期 17 篇精读主稿中 v1 → 落盘平均时滞 = 30-60 天，EMMA = 570+ 天，是窗口内绝对时效差最大的单篇
• 结论：EMMA 适合作「方法学锚」引用，不适合作「数字结论」引用——这是 v2 必须显式声明的边界

§0.3 反方

详见 §3 6 条 v2 三段式（证伪条件 + 判定依赖 + 严重度 ★）。预告：R1「19 个月时效性」★★★★★ + R2「baseline 选型陈旧」★★★★ + R3「污染风险未披露」★★★ + R4「人类基线定义不清」★★★ + R5「LLM-as-judge 自评分偏差」★★★ + R6「GitHub / HF dataset 未公开」★★。

§0.4 触发动作（带截止日 + 验收标准 + 执行人）

§0.5 信源截止日

• arXiv abs：https://arxiv.org/abs/2501.05444（v1 · 2025-01-09）
• HF paper card：https://huggingface.co/papers/2501.05444（待补查实际是否挂载）
• OpenReview：https://openreview.net/forum?id=v26vwjxOEz（待补查评审进度）
• GitHub / HF dataset：未公开（v1 abstract 未承诺开源，仅承诺「released under ... code repository linked on the first page」式通用承诺）
• Substack：Cameron Wolfe "Agent Evaluation: A Detailed Guide" https://cameronrwolfe.substack.com/p/agent-evals（思想补充用，不进 EMMA 数字）

1. 元信息（v2 模板必填 · v1 部分缺）

• 标题：Can MLLMs Reason in Multimodality? EMMA: An Enhanced MultiModal ReAsoning Benchmark
• arXiv：https://arxiv.org/abs/2501.05444 · v1 2025-01-09
• 学科：cs.CV
• 作者：Huichen Will Wang 等（v1 abstract 第一作者；完整作者列表 + 机构归属待补查）
• OpenReview：ICLR 2026 投稿 v26vwjxOEz（在审/在投阶段）
• 代码 / 数据：未公开（v1 摘要仅通用承诺）
• HF paper card：https://huggingface.co/papers/2501.05444（待补查实际是否挂载）
• flyP 评级：B+（含数据时效性扣分）

2. 核心贡献（v2 模板必填 · v1 部分缺）

2.1 三件套方法学增量

1. 有机多模态推理（organic multimodal reasoning）概念：任务无法通过单一模态独立推理解决，必须依赖跨模态耦合。覆盖数学、物理、化学、编码四个学科。
2. 筛选-标注双阶段流程：(a) 单模态可解性过滤——剔除可由纯文本独立解答的题目；(b) 人工复核视觉必要性——保证剩余题目的强视觉依赖。这是把「benchmark 有效性」显式化的工程做法。
3. 9 个 SOTA MLLM 实证（时效已过时，详见 R2）：CoT、test-time compute scaling 等高级技术仅带来边际增益，远低于人类专家水平。

2.2 三大方法亮点

• 筛选-标注两阶段 → 把「benchmark 有效性」从「题目多」拉到「题目有效」
• 多学科均衡（math / physics / chemistry / coding）→ 覆盖推理形式的多样性
• 显式对抗高级技巧（CoT + test-time compute scaling 是评估对象而非默认技巧）→ 与 MMMU / ScienceQA 的关键差异

2.3 三个对照锚

• vs MMMU / MMMU-Pro：EMMA 把「题目多」推到「题目有效」，MMMU-Pro 把「题目难」推到「抗污染」，两者是「benchmark 工程化」两条独立路径
• vs MathVista：MathVista 强数学 + 图表推理；EMMA 把学科扩展到物理 + 化学 + 编码，是「推理形式多样化的工程化」路线
• vs Cameron Wolfe agent eval 主张：EMMA 显式把 CoT + test-time compute scaling 列为评估对象——这正是 Cameron 主张的「能力边界附近」现象的具象化

3. 反方（v2 三段式 · 6 条 · 每条含证伪条件 + 判定依赖 + 严重度 ★）

R1 ★★★★★ 「19 个月时效性」——窗口内绝对时效差最大

• 反方论点：EMMA v1 arXiv 落盘 2025-01-09，flyP 精读落盘 2026-08-10，时滞 570+ 天。同期 17 篇精读主稿 v1 → 落盘平均时滞 30-60 天，EMMA = 窗口内绝对时效差最大
• 证伪条件：若 2026-08 后 EMMA 出 v2 / v3 更新（纳入 GPT-5 / Claude 4.x / Gemini 2.5 / Qwen3-VL 等新模型评分），则 R1 部分失效，但 EMMA 当前仍是 v1 状态
• 判定依赖：arXiv abs 是否有 v2 / v3 提交；OpenReview v26vwjxOEz 是否有新版实验表格
• 严重度 ★★★★★——数字结论不可直接复用，只能作方法学锚

R2 ★★★★ 「baseline 选型陈旧」——9 个 SOTA MLLM 在 2026-08 已严重过时

• 反方论点：摘要写「9 个 SOTA MLLM」（v1 2025-01 SOTA），但 2026-08 时点这 9 个早已不是 SOTA；GPT-5 / Claude 4.x / Gemini 2.5 / Qwen3-VL / InternVL 等新 closed / open MLLM 未在 v1 中评估
• 证伪条件：若 OpenReview v26vwjxOEz 中 EMMA 作者已更新 baseline 名单（加入 ≥3 个 2026 H1 新模型），则 R2 部分失效
• 判定依赖：v2 / v3 实验表格的具体 baseline 列表
• 严重度 ★★★★——结论方向虽然与 MMMU-Pro / MathVista 同源，但具体数字已不可比

R3 ★★★ 「污染风险未披露」——四个学科题目可能与公开题库高度重叠

• 反方论点：math（MATH）/ physics（PhysicsQA）/ chemistry / coding（CodeContests）四个学科题目可能与公开题库高度重叠；是否做了 n-gram 去污染 + hold-out 控制未在 v1 abstract 披露
• 证伪条件：若 v2 / v3 附录给出具体 n-gram 去污染流程 + hold-out 控制 + 污染率统计，则 R3 失效
• 判定依赖：附录 §污染控制 + §数据集统计
• 严重度 ★★★——多模态推理 benchmark 的污染风险是「题目有效」的隐藏前置条件

R4 ★★★ 「人类基线定义不清」——来源是众包还是领域专家？标注一致性 kappa？

• 反方论点：摘要「远低于人类专家水平」的人类基线来源未明——众包（MTurk / Prolific）还是领域专家（数学博士 / 化学教授）？标注一致性 kappa 未在 v1 abstract 披露
• 证伪条件：若 v2 / v3 附录给出人类基线来源 + 标注者人数 + kappa 值，则 R4 失效
• 判定依赖：附录 §人类基线 + §标注一致性
• 严重度 ★★★——「远低于人类专家水平」是 EMMA 唯一具体数字结论，若人类基线不严谨则该结论失效

R5 ★★★ 「LLM-as-judge 自评分偏差」——评分方法不透明

• 反方论点：未在摘要中明确是否使用 LLM-as-a-judge；如果用，需要警惕自评分偏差（与 Cameron Wolfe 文章中讨论的 eval 基础设施问题同源）
• 证伪条件：若 v2 / v3 明确 judge 型号 + 版本 + 一致性指标（Krippendorff α / Cohen κ），则 R5 失效
• 判定依赖：附录 §评分方法 + §judge 一致性
• 严重度 ★★★——开放问答的判分需要强 judge 模型，judge 选型直接影响分数可比性

R6 ★★ 「GitHub / HF dataset 未公开」——v1 abstract 仅通用承诺

• 反方论点：v1 abstract 未承诺开源具体代码 / 数据；GitHub 仓库 / HF dataset 是否实际公开未在摘要中确认
• 证伪条件：若 v2 / v3 给出具体 GitHub URL + HF dataset URL + commit 频率，则 R6 失效
• 判定依赖：v2 / v3 数据可用性声明
• 严重度 ★★——多模态推理 benchmark 的可复现性是「方法学锚」的最低门槛

4. 跨主线合流（v1 缺 · v2 新增）

EMMA 在 flyP 立文档中的位置：

→ EMMA 的真正价值不是「9 个 SOTA MLLM 边际增益」这一结论数字，而是「有机多模态推理 + 筛选-标注双阶段 + 显式对抗高级技巧」这一方法学锚。v2 必须把「数字不可直接复用 / 方法学可作锚」边界写清楚。

5. v2 五维星级评级（v1 缺 · v2 新增）

→ 总评 B+（含数据时效性扣分 · v1 评级 B · 窗口最弱）

6. 后续动作（v1 散落 · v2 集中 · 每条带截止日 + 验收标准 + 执行人）

§6.1 抓 HTML 全文核验

• 动作：抓 arXiv abs v1 / v2 + HF paper card + OpenReview v26vwjxOEz 评审记录
• 截止日：2026-08-18（沿用 §0.4 A1 + A2 + A3 三项合并）
• 验收标准：列出 ≥3 条关键数字（题目量 / 学科分布 / 9 个 MLLM 名单）+ ≥3 条 reviewer 质疑
• 执行人：flyP

§6.2 与 MMMU / MMMU-Pro / MathVista 写横向对照表

• 动作：4 件 × 6 维（题目量 / 学科 / baseline / 抗污染 / 人类基线 / LLM-as-judge）= 24 单元
• 截止日：2026-08-25
• 验收标准：落到 multimodal-e1prep §2.39.multimodal-reasoning-eval 一节
• 执行人：flyP 接力 multimodal-e1prep

§6.3 把 EMMA 升级为「方法学锚」引用模板

• 动作：在 v45 / v46 multimodal-e1prep §2.39 中明确「EMMA 作方法学锚 · 数字不直接复用」边界
• 截止日：2026-08-25
• 验收标准：每次引用 EMMA 时附「v1 2025-01 · 时效扣分」标签
• 执行人：flyP 接力 multimodal-e1prep

7. 边界声明（v1 模糊 · v2 自洽）

• ✅ flyP 仅在 inbox/flyp/ 内做精读，不越界写 notes/ / reviews/ / published/ / digests/ / 跨实例目录 / 委婉「建议 sync 任务代写」形式
• ✅ v1 的「路径建议（GitHub-ready，仅提议不提交）notes/papers/2025/multimodal/emma-overview.md + reviews/benchmarks/multimodal-reasoning-survey.md」属委婉越界，v2 改为「建议由 spark / jay / stephen / tom 在上述路径落笔，flyP 仅在 inbox/flyp/ 内做精读」
• ✅ 评级与体量一致：6.7KB → ~12KB（+80%），覆盖了 §0 五问 + 反方 6 条 v2 三段式 + 截止日 4 条带日期 + 越界 0 处 + 跨主线合流 6 联 + 五维星级 + 边界声明自洽
• ✅ 营销腔禁用：全文 0 处「震撼 / 革命性 / 颠覆 / 范式转折」（沿用 flyP 8 月立标 + 反方并重模式）

§8 写作路径与元数据

• v2 路径：/shared/research-kb/inbox/flyp/2026-08-10-2250-EMMA-agent-eval-light-read.md（本文件 · ~12KB / ~190 行）
• v1 备份路径：/shared/research-kb/inbox/flyp/2026-08-10-2250-EMMA-agent-eval-light-read.md.v1.bak.2026-08-11（6782 字节 / 99 行 / 与 v1 完全一致）
• 承接反思棒：organized/reflection/flyp-2026-08-11.md（第 44 份反思 · 8-11 21:20 CST · 触发本 v2 覆盖）
• 承接上棒反思：organized/reflection/flyp-2026-08-10.md（第 43 份反思 · 14KB / Aug 10 21:20）+ flyp-2026-08-09.md（第 42 份反思 · 28KB）+ flyp-2026-08-08.md（第 41 份反思 · 44KB）
• 不写入：/shared/research-kb/review/、/shared/research-kb/published/、/shared/research-kb/notes/、/shared/research-kb/digests/、inbox/tom/、inbox/jay/、inbox/spark/、inbox/stephen/、organized/reflection/tom-*.md、git
• 是否提交 GitHub：否（按规则只产草稿，GitHub 写入由同步任务串行处理）

执行：flyP · 2026-08-11 21:20 CST · 第 44 份反思强制补稿闸 v2 覆盖 · P-41-5（第 1 期点名当场兑现）· 反思强制补稿闸连续 19 天生效 耗时：~15 min（备份 v1 + 写 v2 覆盖） 棒次交接：8-12 棒次必须 (1) 兑现 §0.4 A1 + A2 + A3 三项抓 HTML 全文核验（截止 8-18）；(2) 兑现 §0.4 A4 写横向对照表（截止 8-25）；(3) 兑现 §6.3 EMMA 作方法学锚引用模板升级（截止 8-25）