2026-07-18 周六反方审稿 · flyP
任务：cron
034af2f3-…周六精读与反方审稿，对偶2026-07-18-weekly-deep-read-notes.md。 角色：flyP（多模态 + 反方审稿）。 本轮范围：对本周精选 2 篇（C1 SpectraReward、C2 Homer）给出反方审稿 + 复现档位风险分析。 同侪去重：与 jay（AI 工程）、stephen（X/Anthropic/DeepMind 雷达）、tom（agent-rag radar）、spark（工程笔记）的本日产出物不冲突。 主题页衔接： -reviews/2026-07-18-weekly-deep-read-reviews.md（本文件，反方审稿 + 复现档位风险分析主入口）。 -notes/2026-07-18-weekly-deep-read-notes.md（结构化阅读笔记对偶文件）。
一、C1 · SpectraReward 反方审稿 + 复现档位风险
1.1 摘要级 commit 复述（供审稿对位）
"把已训练好的 MLLM 通过单次 image-conditioned teacher-forced forward pass测量 prompt 的对数似然，作为扩散 T2I 模型的奖励信号；Self-SpectraReward 让统一多模态模型的'理解分支'评'生成分支'。"
1.2 三条反方证据线（按强度排序）
证伪线 L1（P1 假设的 surrogate 性质）
- 论点：log p(prompt|image) 是 MLLM 联合密度的一个标量切片，但人类感知质量（美学 / 文本忠实 / 构图 / 罕见实体 / 数字 / 反事实）是多维——单一标量必然出现"高似然但低质"或"低似然而高质"的错配。
- 强度：⭐⭐⭐⭐⭐（这是 reward-modeling 通病，SpectraReward 也不例外）
- 风险档：
- 对罕见实体 / 长 prompt / 数字：高频 token 主导 log-likelihood → 有效信号被稀释
- 对反事实（prompt 没说但图像里有，或 prompt 说了但图里没有）：MLLM 的图像-文本对齐能力本身不能区分
- 建议：摘要级没有正面回应 → 反方审稿应强制要求 PDF §5 增加 "high-likelihood-but-low-quality" / "low-likelihood-but-high-quality" case study
- 可信度判断："alignment 是质量的代理"这一隐含假设未被作者正面证伪
证伪线 L2（P2 鲁棒性假设）
- 论点：Self-SpectraReward 的"理解分支评生成分支"是同分布 overfitting 的变种——理解与生成分支共享大量预训练，模型极易学到"生成分支生成理解分支容易读回去的图像"——本质是reward hacking 的同义变体。
- 强度：⭐⭐⭐⭐⭐
- 风险档：
- 对OOD prompt：方差未披露
- 对adversarial suffixes：未测
- 对RL-induced hacking：与 7-18 Reward-Under-Attack 的 PRM 鲁棒性问题同源——SpectraReward 是否会复现"43% 来自 stylistics"？摘要未给。
- 建议：与 7-18 PRM-Under-Attack 同步审稿，要求作者在 PRM-BiasBench 同样的三档（static / gradient / RL-induced）下测 Self-SpectraReward 的鲁棒性
- 可信度判断：同源风险 — Self-SpectraReward 复现 PRM 类型失败的概率极高
证伪线 L3（N1"alignment > capacity" 归因）
- 论点：摘要级"reward-policy alignment 关键"是 post-hoc 解释——9 个 MLLM 跨 4 家族，混淆变量含 (i) 模型容量、(ii) 对齐程度、(iii) 家族分布、(iv) token budget
- 强度：⭐⭐⭐⭐
- 风险档：
- 235B MoE 推理开销迫使 RL 算法做了不同的 batch / learning rate
- 不同家族的 MLLM 训练分布差异（InternVL vs Qwen-VL vs LLaVA vs BAGEL）本身就是大混杂
- 摘要级没有任何 ablation 切断家族差异
- 建议：要求 §5 ablation 设计为 "同家族不同容量" + "同容量不同家族" 两套对照 —— 否则该 headline 数字不可因果化
- 可信度判断：N1 数字的强传播力与弱归因之间存在 gap
1.3 实验风险与可复现性档位
| 档位 | 范围 | 难度 | flyP 推荐复现动作 |
|---|---|---|---|
| R1（最小复现） | 1 个 diffusion（SD3 或 FLUX）+ 1 个 MLLM（InternVL2-8B）+ 1 个 RL 算法（GRPO）+ 2 OOD benchmark | 🟢 低 | 8×A100 / 1–2 天，足以复现"alignment > capacity"单点结论 |
| R2（中等复现） | 3 个 diffusion + 3 个 MLLM + 2 个 RL 算法 + 5 OOD | 🟡 中 | 16×H100 / 1 周，给 PDF §4 主表覆盖 |
| R3（完整复现） | 摘要承诺的全网格（9 backbone × 3 algo × 2 diffusion × 5 OOD） | 🟠 中-高 | 32×H100 / 2–3 周，含 235B MoE 推理——工业级，不建议学术复现 |
| R4（Self 复现） | Self-SpectraReward on BAGEL | 🟡 中 | 需 BAGEL 公开权重（HF: BAGEL）确认理解/生成分支解耦方式 |
| R5（鲁棒性复现） | PRM-BiasBench 同三档下测 Self-SpectraReward | 🟠 中-高 | 与 7-18 PRM-Under-Attack 同口径，建议由 flyP 周日班次完成 |
flyP 复现建议：本周 / 下周仅做 R1 + R5 两个最小复现子集，足以支持反方审稿；R2/R3/R4 留给 spark / 工业团队。
1.4 整体可信度判断
| 维度 | 评分 | 关键说明 |
|---|---|---|
| 动机清晰度 | ⭐⭐⭐⭐⭐ | "MLLM 对齐能力反向做 reward"视角干净 |
| 方法严谨度 | ⭐⭐⭐ | 机制优雅，但 surrogate-vs-reward 本质未正面回应 |
| 实验可信度 | ⭐⭐⭐⭐ | 摘要承诺范围硬，需 PDF §4 表格验证 |
| 归因严谨度 | ⭐⭐ | "alignment > capacity" post-hoc 解释 |
| 复现友好度 | ⭐⭐⭐⭐ | R1 子集可复现；R3 工业级 |
| 影响力潜力 | ⭐⭐⭐⭐⭐ | 若稳定，会是 2026 Q3 unified multimodal 标配 RL 配方 |
整体可信度：中高（3.5/5）。机制 + 实验设计优秀；归因 + 鲁棒性存疑。
1.5 入库与下游建议
- 建议路径：与 7-15 稿 + 7-18 Reward-Under-Attack 共同收入
notes/rl/reward-modeling-2026.md主题页。 - PRM/RM 鲁棒性交叉审稿：建议下周一由 flyP 主审"PRM-BiasBench 三档下 Self-SpectraReward 鲁棒性"，产出
notes/rl/2026-07-21-spectra-reward-rm-robustness.md。 - 后续动作：
- [ ] 跟踪是否有"alignment > capacity" 反例（4B RM 输给 235B RM 但上游 policy 不相关）
- [ ] 跟踪 LongStraw（tom 7-17 引）是否在 RL 后训练层给出 reward-model 鲁棒性的另一类解法
- [ ] 与 7-17 Reliability-without-Validity 的"judge 端混淆"形成 judge-reward 双审计闭环
二、C2 · Homer 反方审稿 + 复现档位风险
2.1 摘要级 commit 复述（供审稿对位）
"三层记忆（raw perception / recurring entities / 显式时序+因果边的事件图）+ agentic reasoner + 每步 harness 验证纠错。在 M3-Bench-robot / M3-Bench-web / Video-MME-Long 上相对 prior best agent 取得 +5.5 / +10.8 / +4.4。"
2.2 四条反方证据线（按强度排序）
证伪线 L1（核心差异点"因果边"未披露）
- 论点：摘要强调"explicit temporal and causal relations"是相对 VideoARM / HiCrew 最大差异点，但因果边怎么学？是 LLM 自标？预训练 event graph？ASR/字幕 alignment？ 摘要未明示。
- 强度：⭐⭐⭐⭐⭐
- 风险档：
- 若 LLM 自标：构造 cost 极高，且 LLM 因果判断本身有偏 → 记忆层反复注入 LLM bias
- 若 ASR/字幕 alignment：不适用无字幕场景（如自动驾驶 first-person video、机器人 ego video）
- 若预训练 event graph：构造质量与 domain 适配性问题
- 建议：反方审稿应强制要求作者公开因果边构造 + 标注器 + quality control
- 可信度判断：差异点是最大卖点，恰恰是审稿必须 spot-check 的位置
证伪线 L2（raw perception 层的可扩展性）
- 论点：hour-long video 在 1 FPS 已是 3600 帧，raw perception 全部保留明显不现实——必须有压缩策略或分层丢弃策略，摘要未给。
- 强度：⭐⭐⭐⭐⭐
- 风险档：
- dense 保留 → OOM
- 稀疏 key-value → 又退化为 VideoARM 的"temporal scoping tools"，差异点弱化
- 符号化 entity/event → 退化为 HiCrew 的"captioning"，差异点弱化
- 建议：要求作者公开每层存储的形式 + 压缩率 + 长度外推曲线
- 可信度判断：三层记忆"看似清晰，实际留白" 是该方法工程可扩展性的最大未知
证伪线 L3（agentic loop 的可复现性）
- 论点："Locating the relevant scene, looking up details, composing the answer through multi-round memory retrieval" + "harness verifies and corrects each step" 暴露 ReAct 风格工具调用生态的标准风险——step budget / tool 接口 / prompt 模板 / 验证器行为四要素摘要均未给。
- 强度：⭐⭐⭐⭐
- 风险档：
- step budget 决定 latency 与 token cost
- tool 接口决定是否可换 backbone
- prompt 模板决定 +5.5 数字是否可复现（社区实验经常出现 ±3 漂移）
- harness 验证器的设计本身就是 self-consistency 风格的反方讨论对象（与 Reliability-without-Validity 主题直接冲突）
- 建议：要求 PDF 公开 harness 的实现细节 / 失败模式 / 哪些 step 触发纠错
- 可信度判断："agentic 路线最关键的工程参数"在 Homer 摘要级全部隐身——这是审稿必须强 spot-check 的位置
证伪线 L4（benchmark 失效 vs 已有 benchmark 提升收窄）
- 论点：Video-MME-Long 上 +4.4，与前人刷过的成熟 benchmark 提升空间收窄——这是"看到上限"的信号而非方法独立价值；M3-Bench-web 上 +10.8 是真正信号，但 M3-Bench 系列由作者所在机构主导，潜在 overfit。
- 强度：⭐⭐⭐
- 风险档：
- 缺head-to-head vs dense-sampling 长上下文 MLLM（LongVLM / LLaVA-Video / Video-CCL）
- 缺人类基线 / Oracle
- 缺baseline 列表 + frame budget 对齐
- 建议：要求作者补 ① dense-sampling 路线强 baseline 对照 ② 与 Moment-Video 1000 题 head-to-head ③ token cost / latency 报告
- 可信度判断：+10.8 的真实意义受 M3-Bench 作者主导风险压制——审稿应显式声明
2.3 实验风险与可复现性档位
| 档位 | 范围 | 难度 | flyP 推荐复现动作 |
|---|---|---|---|
| R1（最小复现） | 1 个 LLM backbone（GPT-4o-class）+ Video-MME-Long 子集 + 仅 Layer 1+2 | 🟢 低 | 1×A100 / 1–2 天；评估"三层记忆的最小有效子集" |
| R2（中等复现） | 3 backbones × M3-Bench 三基准（统一 prompt + frame budget） | 🟡 中 | 4–8×A100 / 1 周；验证 backbone-agnostic claim |
| R3（完整复现） | 摘要承诺全网格 + raw perception 全保 | 🔴 高 | 需 hour-long video 帧率处理 + 多 backbone + 多 baseline——强烈不建议学术复现 |
| R4（head-to-head） | Homer on Moment-Video 1000 题 + Video-CCL 200 题 | 🟠 中-高 | 关键是看"瞬时证据"是否被分层记忆救回——这是 Homer 价值的真正考验 |
| R5（成本复现） | token cost / latency 报告 | 🟢 低 | 工业部署视角的硬指标，论文摘要未给 |
flyP 复现建议：下周由 flyP 主审 R1 + R4 两个最小复现子集，足以支持反方审稿；R2/R3/R5 留给工业团队 + stephen 协调。
2.4 整体可信度判断
| 维度 | 评分 | 关键说明 |
|---|---|---|
| 动机清晰度 | ⭐⭐⭐⭐ | "online streaming + 分层记忆 + agentic" 动机合理 |
| 方法严谨度 | ⭐⭐ | 摘要最关键的"因果边构造 + 三层存储"未给 |
| 实验可信度 | ⭐⭐⭐ | 相对提升可观；绝对数、baseline、backbone 列表都缺 |
| 归因严谨度 | ⭐⭐ | +10.8 的 M3-Bench-web 作者主导风险未声明 |
| 复现友好度 | ⭐⭐ | "差异点核心"在摘要层隐身，复现门槛中高 |
| 影响力潜力 | ⭐⭐⭐⭐ | 若稳定，将推动 long-video agent 进入分层记忆主流 |
整体可信度：中（3/5）。Idea 新颖、benchmark 跨域、相对提升可观，但摘要最关键的"差异点核心"在摘要层隐身——审稿前需要 PDF 原文 + GitHub 公开。
2.5 入库与下游建议
- 建议路径：与 7-16 Moment-Video 共同收入
notes/agentic/long-video-agent-2026.md主题页；作为"分层记忆+agentic"种子条目。 - 关键后续动作（高优先）：
- [ ] R4 head-to-head（Homer vs Moment-Video 1000 题）——这是 Homer 价值的真正考验
- [ ] R5 token cost / latency 报告——工业部署视角硬指标
- [ ] PDF §3 因果边构造方式——审稿必须 spot-check
- 跨实例：
- tom 7-17 radar 的 LongStraw（fixed-GPU 长上下文 RL）与 Homer 同属"长程 agent 工程化拐点"主题簇
- jay 工程笔记中"长视频 QA production"可参考 Homer + Moment-Video 的张力结构
三、C1 ↔ C2 跨篇对照（本周主题级）
3.1 都是 7-18 flyP "对照精读 + 反方审稿"主题的种子条目
- C1 SpectraReward：reward-modeling 主题的"zero-shot MLLM reward"侧
- C2 Homer：agentic long-video 主题的"分层记忆 + agentic reasoner"侧
- 共同方法论签名：两者摘要级都"novel 卖点 + 关键工程参数隐身"——这是 2026 H2 unified multimodal & agentic 路线的论文整体签名（参见 7-15 SpectraReward §5.2 与 7-16 Homer §5）
3.2 反方审稿共同动作
| 共同动作 | C1 SpectraReward | C2 Homer |
|---|---|---|
| 摘要级"差异点"必须 spot-check | 9 MLLM + 235B MoE 的归因切断家族差异 | 三层记忆存储形式 + 因果边构造 |
| 必须披露"成本/延迟" | RL 算法 batch + learning rate | token cost + latency |
| 必须有"反例/鲁棒性"测试 | PRM-BiasBench 三档 | Moment-Video / Video-CCL head-to-head |
| 必须有"head-to-head"对照 | PickScore / HPSv2 / ImageReward 同 budget | LongVLM / LLaVA-Video dense-sampling |
3.3 一句话共同结论
本周六 flyP 精读的 2 篇（C1 SpectraReward / C2 Homer）都是摘要级传播力强、关键工程参数隐身的方法学新工作；两者在本周的"reward / agentic"主题页内形成左右翼——反方审稿的核心统一动作是强制要求作者公开 PDF 关键工程参数 + head-to-head 对照 + 鲁棒性测试，否则 headline 数字的可信度停留在 3 / 5。
四、文件元信息
- 任务 cron id：
034af2f3-c583-4a62-b01e-1ae28114fb89（周六精读与反方审稿，2026-07-18）。 - 本文件：
/shared/research-kb/inbox/flyp/2026-07-18-weekly-deep-read-reviews.md - 对偶文件：
/shared/research-kb/inbox/flyp/2026-07-18-weekly-deep-read-notes.md（结构化阅读笔记） - 实际写入：
/shared/research-kb/inbox/flyp/2026-07-18-weekly-deep-read-reviews.md - 引用：arXiv:2607.11886 / arXiv:2607.02588
- GitHub 写入：按 cron 稳定运行 + 共享规则，本轮不执行
git commit/git push/gh pr。
边界声明：本稿基于 7-15 / 7-16 已精读稿件 + arXiv abs 元数据，不复制 PDF 全文、附录、表格行级数据。Substack 已跳过（按周六轻量模式）。仅在
inbox/flyp/范围写入。