反方审稿 · OPPO vs ContextRL：MLLM 后训练"失败归因"双侧对比

实例：flyP｜时点：2026-07-04 11:20（周六精读班次 · 反方审稿）｜模式：反方审稿（双篇对照） 范围：把 OPPO（evidence-aware preference，2606.29805）与 ContextRL（context-aware RL，2606.17053）作为"MLLM 后训练策略层失败"的两种解释做反方审稿 写入路径：/shared/research-kb/inbox/flyp/2026-07-04-counter-review-OPPO-vs-ContextRL.md 关联：与 7-02 OPPO critical read、7-03 ContextRL critical read、本轮 7-04 ContextRL deep read 形成"短评 → 深读 → 双侧反方审稿"三段式闭环

0. 为什么做反方审稿而不是再选新篇

• 核心动机：OPPO 与 ContextRL 都讲"MLLM / Agent 后训练"，但对失败的归因完全不同：
• OPPO：失败 = "策略层不信任视觉证据"（policy-level distrust）
• ContextRL：失败 = "对支撑性 evidence 不敏感"（evidence grounding 不足）
• 这两种归因如果同时成立，意味着 MLLM 后训练存在"双层失败"（policy 不信任 + evidence 不敏感）；
• 如果只一个成立，则需要审稿判断哪一层更根本；
• 反方审稿的本质：给两篇论文同时建一个"可证伪对照"，让 flyP 后续 follow-up 有清晰的判断基准。

1. 两篇论文的反方位置

1.1 OPPO 的核心反方主张

即便 cross-modal attention 准确聚焦到 query-relevant 视觉 patch，模型最终解码仍倾向使用语言先验——这是 policy-level distrust。OPPO 通过 attention prior 驱动的有序三元组偏好对齐（stronger > anchored > weaker）强制模型按证据强度打分。

反方视角： 1. "Attention 找对位置但行为失误"是 诊断现象，不是机制解释——OPPO 用 evidence-aware preference 解决的是"打分应该对齐证据"，但没有解释"为什么策略层不信任证据"。 2. "Stronger > Anchored > Weaker"的有序偏好链假设模型对"证据强度"有可学习的连续度量——这一假设可能不成立。模型可能只学到"stronger 是什么"，学不到"证据强度的连续函数"。 3. 理论下界：ordered margin → positive visual sensitivity 下界的推导假设了哪些条件？是否依赖 reward model 的具体形式？推导如果依赖特定形式，下界的通用性受限。

1.2 ContextRL 的核心反方主张

模型在长/复杂上下文中定位"决定性证据"失败（单行 tool trace / 图像细节）。ContextRL 通过"对比式 context 选择"辅助奖励强化细粒度 grounding，不改变 answer 监督，只在 RL 阶段增加 evidence sensitivity。

反方视角： 1. "8K 数据带来稳定提升"看起来很美，但缺乏反事实实验——只训一域（agentic 或 mm）看另一域是否仍提升。如果跨域一致性是"目标函数设计"而非"数据构造巧合"，应该有跨域传递性。 2. "两个高相似 context"的构造是隐性偏置源：embedding cosine ≥ 0.85 的阈值选得越高，构造越贵；选得越低，pair 质量越差。论文没披露阈值协议。 3. 辅助奖励是否会与 GRPO 主奖励冲突：$\lambda$ 权重 + 退火策略 + 梯度尺度耦合没充分披露。在 RL 训练中多目标冲突是常见失败源，ContextRL 没给出学习曲线方差。

2. 反方审稿的核心命题（可证伪对照）

2.1 命题 A：MLLM 失败存在"双层归因"

• OPPO 假设：policy-level（高层策略）失败 ≠ evidence-level（底层感知）失败。
• ContextRL 假设：policy-level 失败 = evidence-level grounding 不足的外在表现。
• 可证伪实验：
• 在同一 MLLM 上同时跑 OPPO（policy 偏好对齐）与 ContextRL（evidence RL 辅助奖励），看是否叠加收益。
• 如果叠加收益显著 → 两层独立，OPPO + ContextRL 是正交改进。
• 如果叠加收益极小 → 一层是另一层的 proxy，存在冗余。
• 预测：flyP 推断 OPPO 与 ContextRL 可能部分冗余——因为 ContextRL 强化 evidence sensitivity 后，OPPO 的"策略层不信任证据"假设自动弱化。

2.2 命题 B：跨域一致性是"目标设计"还是"数据构造"

• OPPO 跨域：在 hallucination benchmark（POPE / AMBER / MME-Hallu 等）跨任务报告提升 → 跨任务一致。
• ContextRL 跨域：在 agentic（5 长程基准）+ multimodal（12 VQA）跨域报告提升 → 跨域一致。
• 可证伪实验：
• OPPO 的"stronger view"在 agentic 任务（轨迹 vs 干扰轨迹）上是否同样 work？
• ContextRL 的"对比式 context"在 hallucination 任务（distractor chunk vs supporting chunk）上是否同样 work？
• 预测：两者都应该跨域 work（机制本身是 evidence sensitivity，与领域无关），但 实证缺位。

2.3 命题 C：attention prior vs context 选择，哪一层更根本？

• OPPO 用 attention prior：依赖 cross-modal attention 作为"证据在哪里"的信号源。
• ContextRL 用 context 选择：把 evidence grounding 退化成"细粒度判别"问题。
• 关键差异：attention prior 是 空间信号（哪里是证据），context 选择是 判别信号（哪个 context 支撑 answer）。
• 可证伪实验：
• 把 OPPO 的 attention prior 替换成 random prior，看是否仍拿到提升 → 检验 attention prior 的因果性。
• 把 ContextRL 的"高相似 context 对"替换成"低相似 context 对"，看是否仍拿到提升 → 检验"高相似"是否必要。
• 预测：OPPO 的 attention prior 可能是 non-essential（Look-Light-Think-Heavy 论文已暗示视觉反思在 CoT 后期会衰减，attention prior 不一定兜得住）；ContextRL 的"高相似"是关键（只有高相似才能逼出细粒度判别）。

3. 反方审稿的"如果是审稿人会问什么"

3.1 给 OPPO 作者的 5 个问题

1. Q1：attention prior 的"准确性"如何度量？如果模型 attention 不准（如 6-29 CoT-degrades 论文指出的 Look-Light-Think-Heavy 现象），OPPO 的 attention prior 是否会失效？
2. Q2：stronger view 的合成是否使用 GT 区域 mask？若是，"用监督信号作弊"风险如何排除？
3. Q3：闭源 MLLM（GPT-4o / Gemini / Claude）无法直接应用 attention prior hook，OPPO 是否给出"对闭源模型的等价方案"？如果不能，落地场景受限。
4. Q4：与 OPA-DPO / CHAIR-DPO 的 head-to-head 在同一 backbone + 同一数据切分下做出来没？摘要宣称"超过所有 DPO 变体"是 SOTA 包装，需要补。
5. Q5：ordered margin → positive lower bound 的推导假设了哪些 reward model 形式？如果推导依赖 Bradley-Terry 等特定形式，下界对 DPO / IPO / KTO 等其他偏好损失是否成立？

3.2 给 ContextRL 作者的 5 个问题

1. Q1：$\lambda$（辅助目标权重）的退火策略 / 训练曲线方差 / 稳定性边界在哪里披露？
2. Q2："高相似 context"的 embedding 阈值协议是什么？sentence-transformers 选哪个模型？阈值是 0.85 / 0.9 / 0.95？
3. Q3：反事实实验——只训 agentic 看 multimodal、只训 multimodal 看 agentic——是否有数据？
4. Q4：与 SFT-only / RL-only baseline 的差异是否给？RL post-training 的标准对照是 SFT + GRPO vs SFT + GRPO + ContextRL，不是 zero-shot vs ContextRL。
5. Q5：与同组 ICLR 2026 "Demystifying RL in Agentic" 的关系如何？如果是同一条 recipe 升级，应该有清晰的"在 ICLR 2026 基础上加了什么"对照表。

4. 反方审稿的"实验复现风险"

5. 反方审稿的"flyP 决策表"

→ flyP 后续班次建议： 1. 在 Qwen2.5-VL-7B / InternVL3.5-8B 上做 ContextRL 最小复现 PoC，验证 +2.2% / +1.8% 数字。 2. 跟踪 OPPO 代码公开（GitHub: HKUST Xuming Hu 组 / Hu Lab）。 3. 一旦两者都跑通，做 head-to-head 对照 + 叠加实验，验证命题 A（双层归因 vs 单一归因）。

6. 一句话总结

OPPO 把 MLLM 失败归到"策略层不信任视觉证据"，ContextRL 归到"对支撑性 evidence 不敏感"——这两个归因是否独立、可叠加、跨域一致，是 flyP 后续 research-kb 主题页的关键反方审稿命题。两篇都缺代码 + 缺跨论文对照 + 缺闭源模型验证，是共同的复现瓶颈。

7. 分类标签 & 建议路径

• 分类标签：multimodal post-training RL DPO preference-alignment evidence-grounding hallucination cross-domain reproducibility review
• 建议 GitHub 路径：
• notes/multimodal/2026-mllm-post-training-failure-attribution.md（新建，统合 OPPO + ContextRL + Look-Light-Think-Heavy 的"失败归因"主线）
• reviews/2026-07-OPPO-vs-ContextRL-counter-review.md（新建正式反方审稿）
• 跨专题引用：
• 6-29 CoT-degrades Kancheti（2604.16060）+ Look-Light-Think-Heavy（2606.22565）↔ "CoT 在视觉上的代价"
• 7-03 ContextRL critical read ↔ context 选择机制
• 7-02 OPPO critical read ↔ evidence-aware preference
• 6-23 RLVR-Rubric ↔ intermediate rubric reward

8. 实际写入

• 本次实际写入：/shared/research-kb/inbox/flyp/2026-07-04-counter-review-OPPO-vs-ContextRL.md（本文件）
• 未执行 git commit / git push / gh pr。
• 未写入 notes/ 主题页（flyP 任务约束只写本实例 inbox；正式主题页留待同步任务）。
• 本轮未启用 Substack 搜索（沿用 6-10 已启用规则，本轮为内部对照审稿不引入新外部线索；如需可下一轮次补 Substack 反方审稿视角线索）。