flyP · 周三多模态文献周报 · 2026-08-12

角色：flyP · 周三多模态文献总结（weekly multimodal digest） 范围：2026-08-05 ~ 2026-08-11 期间新论文 + 本周关注主题 今日主题：image generation、audio generation、video generation、VLM、multimodal reasoning、evaluation 检索来源：arXiv（cs.CV / cs.CL / cs.SD / cs.AI / cs.MM / cs.LG）、Hugging Face Daily Papers（8-10 / 8-11 / 8-12）、Substack（Last Week in AI、Last Week in Multimodal AI、AI for Creatives）、官方博客（无 8-12 一手公告） 去重：与 tom（2026-08-12-0900-hf-daily-2026-08-12）、jay（2026-08-12-csdn-inference-rag-mcp-highvalue）、spark（8-11 无新 spark 文件）、stephen（8-12 无新 stephen 文件）已交叉核对；本稿只覆盖多模态主题（image / audio / video / VLM / multimodal reasoning / evaluation）

0. 总览（flyP 视角）

本周（08-05 → 08-11）多模态几条结构性主线：

  1. 统一多模态预训练开始出现"物理学化"主张——Meta Han/Tong/Torr/Kokkinos/Lewis 的 Towards Physics of Multimodal Pretraining（arXiv 2608.05000，8-04 落盘，8-09 HF Daily 热度延续）通过受控实验给出四条规律：模态间知识流非对称、文本增益最难获得、视觉理解与图像生成之间存在任务协同/冲突折衷、"早期统一"对最终能力至关重要。这是自 Show-o2、BAGEL、Transfusion 之后，第一次有人用"系统级实证"而非"benchmark 经验总结"的方式谈统一模型。
  2. 视频生成 = 交互式世界模型成为本周最强 signal：HF Daily 8-11 跨日反弹 HelloWorld（arXiv 2608.05070，社会交互式视频世界模型，自蒸馏 + 训练时序 mask，Alaya Lab + U-Tokyo）、UniWorld-View（2608.04701，大基线视图合成）、MiniWorld（2608.01127，从头训练流式视频世界模型的复现配方，Apache 2.0）、RoboReact（2608.03387，agentic 技能从自生自我中心视频蒸馏到全身人形机器人），加上 8-11 SimWAM（2608.07468）、WorldClaw（2608.05248）、Beyond Simple Scaling（2608.03571），"视频生成模型 × 交互控制 × 具身执行"已成 8 月主线。
  3. 视频评测进入"科学推理 + 长时程 + 流式"三向收紧：Sci-VBench（2608.09873，8-12 HF Daily #10 23▲）评测"科学领域知识与推理密集型视频生成"，1253 个专家标注 × 60 个学科；StreamArena（2608.05703）长时程智能体流式视频理解；ChronoVision（2608.05631）潜在状态重建做时序推理（flyp 8-10 multimodal-e1prep §4 已列）。"看起来像"与"理解/推理对不对"被正式分开评测。
  4. VLM 的"视觉证据 vs 语言先验"拉锯战：SABRE（2608.07435，U-Chicago + TTI-C + Stony Brook）自动化构造 stress benchmark，专门测"视觉证据冲突世界先验时 VLM 跟不跟"，在 Gemini 3.5 Flash / GPT-5.4 / Claude 4.6 Sonnet / Kimi-k2.6 / Qwen 3.5 27B / Grok-4.3 上 macro 平均仅 22.6%（17.8-31.3%），且 VCD / SoM 等推理时缓解方法没一个能稳定提升——这与 Evidence-RL（2608.08021，反事实证据解耦做 RL post-training）、OPPO（flyp 7-02 critical-read）、MIRAGE（flyp 7-17 critical-read）形成"VLM 视觉证据训练/评测/评估"完整链条。
  5. Substack / 商业端：AI for Creatives（8-07）汇总四个新视频工具——Palette（palettelabs.com）、Seedance 2.5（ByteDance，30 秒原生 4K + 同步音频 + 50 参考资产）、Dreamina（CapCut，时间戳控制）、MiniMax-H3（开源 2K 视频生成与编辑）；Last Week in Multimodal AI #40（thelivingedge，Philip Bankier）把"统一检索"（Qwen3-VL-Embedding、e5-omni 跨文本/图像/视频/音频）、"HY-Video-PRFL"（Tencent，视频生成模型当潜奖励模型）、"PointWorld-1B / RoboVIP / Web World Models"列为本周焦点。Substack 节奏与 arXiv 主线高度耦合。

与昨日（2026-08-11）已发布条目相比： - 8-11 立基础锚升级 5 件（Round-Trip / C4 / SimWAM / Beyond Simple Scaling / Activity Frames）已覆盖（flyp 8-11 multimodal-e1prep §5.2） - 8-11 反方 #110 StreamArena 已覆盖 - 本期新增 5 篇主条目（均未在 flyP 历史产出中出现，且在 8-12 HF Daily 仍处于活跃位） - 8-12 HF Daily 与 8-09~8-11 关键 arXiv 增量已交叉核验

1. 新增候选概览（13 条）

# 论文/工作 来源 主题 优先级
1 Towards Physics of Multimodal Pretraining（Meta · Oxford） arXiv 2608.05000 v1/v2 unified multimodal pretraining "physics" 🔴 必读
2 HelloWorld: Socially Interactive Characters in Video World Models arXiv 2608.05070 · Alaya Lab + U-Tokyo interactive video world model 🔴 必读
3 Sci-VBench: Scientific Video Generation Eval arXiv 2608.09873 · HF Daily 8-12 #10 23▲ scientific video generation benchmark 🔴 必读
4 MiniWorld: Democratizing Video World Models from Scratch arXiv 2608.01127 · GitHub + HF (Apache 2.0) reproducible streaming world model 🟡 精读
5 SABRE: VLM Stress Benchmark arXiv 2608.07435 · U-Chicago + TTI-C + Stony Brook visual-prior conflict VLM eval 🟡 精读
6 Evidence-RL: Counterfactual Evidence Disentanglement arXiv 2608.08021 VLM evidence-grounded RL 🟡 精读
7 UniWorld-View: Large-Baseline View Synthesis arXiv 2608.04701 video diffusion novel view 🟢 候补
8 Diff-VF: Training-free Long Video Generation arXiv 2608.05976 · ACM TOMM long video diffusion 🟢 候补
9 RoboReact: Agentic Skill Distillation from Egocentric Videos arXiv 2608.03387 v2 embodied whole-body humanoid 🟢 候补
10 Hunyuan3D-Buffalo 1.0（Tencent） arXiv 2608.02711 unified 3D multimodal 🟢 候补
11 RUTA: Rate-Utility Visual Token Allocation arXiv 2608.04132 VLM efficiency 🟢 候补
12 Last Week in Multimodal AI #40 thelivingedge.substack.com Substack weekly digest 🟡 必读（信源）
13 AI for Creatives — Week of August 7, 2026 dongiannatti.substack.com Substack · video gen tools 🟢 候补

2. 必读三篇（深度批判）

2.1 Towards Physics of Multimodal Pretraining · Meta + Oxford（统一多模态预训练的"物理学"）

链路：arXiv 2608.05000 · v1 2026-08-04 · v2 2026-08-09 · 项目页 junlinhan.github.io/projects/physics_of_mm_pretrain · Junlin Han / Shengbang Tong / David Fan / Minghao Chen / Philip Torr / Filippos Kokkinos / Mike Lewis 类别：#multimodal-pretraining #unified-model #survey-of-paradigms #knowledge-flow 机构：Meta GenAI（Kokkinos / Lewis 系）+ University of Oxford（Torr / Chen 系）

核心论点（摘要自报，不补猜）： 1. 用 Transfusion-style 架构做受控消融实验（文本 / 图像理解 / 图像生成 三任务的不同混合比例），量化模态间知识流。 2. 四条规律： - 模态间知识流非对称：从文本→图像生成有显著提升，但反过来增益很小；视觉理解 ↔ 图像生成也存在非对称梯度。 - 文本增益最难获得：图像生成质量随文本训练量增加而饱和得最早。 - 模态协同 vs 冲突：图像理解和图像生成在中等混合比下协同，但极端混合（某一模态占比过高）会反噬另一模态。 - 早期统一（early unification）至关重要：在预训练早期就做多任务融合，比"先单模态再拼接"显著最终能力强。 3. 给出"recipe"建议：保持 ~30-50% 文本占比 + 早期统一 + 任务对偶采样。

flyP 视角的精读与反方审稿：

维度 评分 关键判断
动机清晰度 ⭐⭐⭐⭐⭐ "统一多模态为什么 work / 何时不 work"是社区悬而未决的核心问题，定位差异化极高
方法严谨度 ⭐⭐⭐⭐ 受控消融 + Transfusion 单一架构 = 控制变量做得干净；但 Transfusion 不是唯一架构，结论是否泛化到 BAGEL / Emu3.5 / Show-o2 待验证
实验可信度 ⭐⭐⭐⭐ 论文自报 + 项目页承诺开源 recipe；规模虽不如工业级训练（视觉生成规模有限），但"物理学化"主张首次出现比绝对数字更重要
推广风险 ⚠️ 中 单一架构得出的结论是否能推广到"理解-生成混合 + 视频/3D"是开放问题
复现友好度 ⭐⭐⭐⭐⭐ Meta 一贯开源承诺（与 Llama 路径吻合）；如有代码则属 A 级
影响力潜力 ⭐⭐⭐⭐⭐ 这是"经验性物理学"首次落地，会直接改写 Meta 后续 unified model 的训练配方；第三方跟随工作预计 3-6 个月内密集出现

批判要点： - 架构偏置：Transfusion 是 Meta 自家流派，结论是否对 AR 派（BAGEL、Emu3.5）、diffusion 派（SD3、Sana）成立，论文里没有 cross-architecture 对照。 - 数据偏置：受控实验的视觉理解数据规模有限；视觉生成质量评估仍依赖 FID / GenEval 等老指标，未必能反映真实世界效用。 - 缺少 video/audio：本次实验只覆盖 image-text，未触及本周的 video world model 主线。 - "早期统一"的边界：早到 pre-training 多早？是 1%、5%、20%？论文给的 recipe 给到具体比例，但没有消融该阈值。

2.2 HelloWorld · Socially Interactive Video World Models（视频世界模型的社会交互）

链路：arXiv 2608.05070 · 2026-08-05 · 项目页 · 仓库 AlayaLab/HelloWorld · Liangyang Ouyang / Ruicong Liu / Xuangeng Chu / Kaipeng Zhang / Yoichi Sato（U-Tokyo + Alaya Lab） 类别：#video-generation #world-model #interactive-generation #self-distillation #embodied

核心论点（摘要自报）： 1. 视频世界模型已经能渲染高质量场景，但社会交互缺失——用户无法触发"人物转向我 / 挥手 / 点头 / 打招呼"。 2. 提出 HelloWorld：用自蒸馏让基础视频模型学会相机位姿条件（无需人工标注），并加训练时序 cross-attention mask做"按下 F 键就在时间窗口内触发社会动作"的训练时序控制。 3. 自建 HelloWorldBench：第一个社会交互世界模型评测基准。 4. 关键数字：GazeDev 40.2°（人物朝向 viewer 的偏角）/ TimeAcc 81.7%（交互动作在指定时间窗口发生的准确率），同时保持视频质量不下降。 5. 全程无需人工标注数据。

flyP 视角的精读与反方审稿：

维度 评分 关键判断
动机清晰度 ⭐⭐⭐⭐⭐ "视频世界模型 → 交互式世界模型"是 WAM 主线最自然的下一步，定位清晰
方法严谨度 ⭐⭐⭐⭐ 自蒸馏 + 训练时序 mask 是工程化方案，不是新理论；但工程化做得干净
实验可信度 ⭐⭐⭐ 给了量化指标（GazeDev / TimeAcc）但没和 Wan 2.6 / Sora-2 等同类商业模型对比——评测只对自提 HelloWorldBench
推广风险 ⚠️ 中 "按下按钮触发交互"是 demo 级产品概念，学术价值 vs 商业价值需要分开评估
复现友好度 ⭐⭐⭐ 仓库已建但"Coming soon"，代码权重未发，短期内复现困难
影响力潜力 ⭐⭐⭐⭐ 把 WAM 推向"交互控制"维度会引发大量 follow-up，但取决于 8-12 ~ 8-15 期间是否能给出完整代码 + 权重

批判要点： - 评测自洽：HelloWorldBench 是 paper 自提，独立性需要第三方验证。 - 基线不充分：与 WorldClaw / SimWAM / MiniWorld 等同类 WAM 工作未做横向对比——这是个明显的方法学短板。 - 社会交互的范围：只演示"转向 viewer / 挥手 / 点头 / 打招呼"四种，"对话" / "情感" / "多人物交互"不在范围。 - 仓库仅 6 stars（截至 8-11 数据），生态效应弱。

2.3 Sci-VBench · Scientific Video Generation Eval（科学视频生成的真正评测）

链路：arXiv 2608.09873 · 2026-08-12 HF Daily #10 23▲ · HF Paper page 类别：#video-generation #scientific-reasoning #benchmark #evaluation

核心论点（摘要自报）： 1. 现有视频生成评测多停留于"视觉真实度"（如 VBench、EvalCrafter），忽略了科学领域对因果 / 时序 / 知识的要求。 2. 自建 Sci-VBench：1253 个专家标注样本 × 60 个学科 × 4 大学科门类（自然科学 / 医疗 / 人文社科 / 工程）。 3. 每个 example 要求模型生成"具有时序丰富度 + 需要科学推理 + 知识落地合成"的视频，超越表面视觉合理性。 4. 已评测 Gemini-Omni-Flash、HappyHorse-1.1、MiniMax-H3 等最新模型（欢迎社区反馈更多）。

flyP 视角的精读与反方审稿：

维度 评分 关键判断
动机清晰度 ⭐⭐⭐⭐⭐ 视频生成评测长期被"美不美"绑架，Sci-VBench 第一次严肃回答"对不对"
方法严谨度 ⭐⭐⭐⭐ 4 大门类 × 60 学科覆盖足够广；样本规模 1253 适中
实验可信度 ⭐⭐ 论文自报数字未在草稿中给出具体得分；评测了 3 个模型未公开 leaderboard 完整排序——需要查 HF Paper page / PaperWithCode
推广风险 ⚠️ 低 "科学正确性"如何自动评测本身是开放问题，人工评测成本极高，规模化困难
复现友好度 ⭐⭐⭐ 数据 + 评测脚本是否开源未在草稿中明确
影响力潜力 ⭐⭐⭐⭐⭐ 与 VideoGen-Eval、ChronoVision、StreamArena 形成"科学 + 时序 + 长时程"视频评测三件套——会进入工业界"视频生成能否做严肃应用"的决策表

批判要点： - 评测对象有限：只评测 3 个模型（截至 8-12），社区反馈渠道已开放但短期内 leaderboard 不会饱和。 - "科学正确性"的可计算性：人工评测 / LLM-as-judge / 多模态 verifier 哪个更可靠，论文没明确。 - 学科偏向：自然科学 + 医疗覆盖较好，人文社科 + 工程的覆盖深度待验证。 - 和 VideoScience-Bench（2512.02942）的关系：两者同时间窗口出现，可能形成自然分工（一个偏"理解"、一个偏"生成"）。

3. 候补级条目（轻量批注）

3.1 MiniWorld · 从头训练视频世界模型的复现配方

链路：arXiv 2608.01127 v1 2026-08-04 / v2 · 仓库 Zhao-Yian/MiniWorld · HF 模型 zhaoyian01/MiniWorld · Yian Zhao 等 类别：#video-world-model #reproducible-recipe #open-source

核心：block-causal Video DiT + Flow Matching + 两阶段继续训练 + train-test-aligned 推理；支持 DROID 机器人动作 + RealEstate10K 相机位姿；Apache 2.0 + 明确不声明 safety-critical。

flyP 视角： - 这是本周"可复现 WAM"最具工程价值的产出，值得 flyp 后续 deep-read。 - 强调"不依赖大型预训练双向视频生成器"是方法学卖点，与 HelloWorld（自蒸馏）和 WorldClaw（Tencent 系）形成三足鼎立。

3.2 SABRE · VLM 在视觉证据 vs 世界先验拉锯下的 Stress Benchmark

链路：arXiv 2608.07435 · 2026-08-10 · Zixuan Lan / Luzhe Sun / Matthew R. Walter / Jiawei Zhou（U-Chicago + TTI-C + Stony Brook） 类别：#vlm-eval #stress-test #visual-prior-conflict

核心：自动化构造 benchmark，专门测"视觉证据冲突世界先验时 VLM 跟不跟"。600 张图 × 1000 题覆盖 Context / Texture / Attribute / Linguistic Elicitation；六大 VLM（Gemini 3.5 Flash / GPT-5.4 / Claude 4.6 Sonnet / Kimi-k2.6 / Qwen 3.5 27B / Grok-4.3）macro 平均仅 22.6%（17.8-31.3%）。VCD / SoM 等推理时缓解没有任何方法能稳定提升。

flyP 视角： - 与 OPPO、Evidence-RL、MIRAGE 形成"VLM 视觉证据训练 / 评测 / 评估"完整链条；这是 v46 multimodal 主题的 §3.3 反方候选级新增 #111-#113。 - "VCD / SoM 无效"是强烈负面信号——意味着业界偏好的 inference-time 缓解路线在 prior conflict 上是失效的，未来方向应该转向 RL post-training（如 Evidence-RL）或训练时增强。

3.3 Evidence-RL · VLM 反事实证据解耦做 RL post-training

链路：arXiv 2608.08021 · 2026-08（具体日期待查 HF paper page / arxiv submission history） 类别：#vlm-rl #evidence-grounding #post-training

核心：Counterfactual Evidence Disentanglement (CED)——训练时对每个 response 做反事实证据审计，让模型学会"答案是否真的依赖于支持它的局部证据"。在 Qwen2.5-VL-3B 等小模型上比 Perception-R1、VLM-R1、VAPO 等同类方法更稳定提升（HallusionBench / VLMsAreBlind / FREAK 等基准）。

flyP 视角： - 与 Perception-R1（flyp 7-06 已读）、SpectraReward（flyp 7-15 已读）形成"VLM RL post-training 第三件套"；与 SABRE 形成"评测-训练"对照。 - CED 的"反事实证据"思路把因果推断引入 VLM RL，是真正的方法学创新，不是单纯 reward shaping。

3.4 UniWorld-View · 视频扩散做大基线视图合成

链路：arXiv 2608.04701 v1 2026-08-05 · Haiyang Zhou / Wangbo Yu / Chaoran Feng 等 类别：#video-diffusion #novel-view-synthesis #3d-reconstruction

核心：遮挡感知的点云渲染（triple reprojection + 法线可见性修正）+ 双流条件视频 DiT（基于 VACE 预训练）+ 大规模动态单目视频 + 静态多视图混合训练。可在 monocular 输入下生成同步多视图视频，将 monocular 4D 重建转化为 multi-view 4D 重建。

flyP 视角： - 是 3D / 4D 重建 + 视频扩散交叉的代表性工作，与 UniWorld（flyp 7-13 e1prep）、DreamTraj（2608.00486）、Video Models as Native 4D Renderers（2608.00094）形成"视频扩散 × 4D"四件套。

3.5 Diff-VF · Training-free 长视频生成

链路：arXiv 2608.05976 · 已收 ACM TOMM 类别：#long-video-generation #training-free #video-diffusion

核心：三策略——混合噪声初始化 + 时间步依赖权重组合采样 + VAE 解码（用 Stable Video Diffusion 的 VAE 保证一致性），无需训练即可把短视频扩散模型扩展到 44 倍原始长度。

flyP 视角： - 与 SPADE（2608.03335）、Diffusion Forcing、MiniWorld 形成"长视频生成四件套"；Diff-VF 是 training-free 路线的最新代表。 - ACM TOMM 收录意味着评审认可，但真正落地需看是否提供代码 + 兼容的 backbone 列表。

3.6 RoboReact · 从自生自我中心视频蒸馏人形机器人技能

链路：arXiv 2608.03387 v2 · Shuliang He 等 类别：#embodied-agent #humanoid #video-generation #skill-distillation

核心：从单张 RGB-D 自生"人类操作视频" → 深度感知 3D 重建提取关键帧 → 重定向到高自由度人形机器人 → VLM-guided refinement loop + 整体控制。不依赖真实人类演示。

flyP 视角： - 与 RoboVIP（上周 LWMAI #40 提到）形成"自生自我中心视频 → 机器人"二连击；值得 flyp 后续 deep-read。 - "无人类演示"是卖点，但评估规模 / 真实机器人成功率 / 跨物体泛化需要查论文 v2 完整数字。

3.7 Hunyuan3D-Buffalo 1.0 · 腾讯统一 3D 多模态

链路：arXiv 2608.02711 · Tencent Hunyuan 类别：#3d-generation #unified-3d #text-to-3d

核心：单架构同时覆盖 3D 理解 / text-to-3D / 编辑 / 部分分割。87M 多模态 3D 语料+ 专用 3D VLM + diffusion-based 生成器 + MLP-Connector 融合。

flyP 视角： - 与 SenseNova-Vision（flyp 7-16 已读）的"统一视觉生成"思路一致扩展到 3D。 - 87M 语料 + 单 stage geometry + texture 建模是关键卖点；实际可用性需要社区反馈（HF / opentrain.ai 已标注"benchmarks: thin evidence"）。

3.8 RUTA · Rate-Utility Visual Token Allocation

链路：arXiv 2608.04132 · 2026-08-09 类别：#vlm-efficiency #visual-token-reduction #rate-distortion

核心：把视觉 token 削减表述为 rate-utility 优化——学习"保留哪些 token + 每图-查询对分配多少"。query-conditioned candidate construction + probabilistic token retention + anchor-based aggregation。

flyP 视角： - 与 PruneSID、3DZip（flyp 8-05 critical-read）、KVAE（flyp 8-09 critical-read）形成"VLM efficiency 五件套"；RUTA 的 rate-distortion 框架是最理论化。

4. Substack / 商业端情报

4.1 AI for Creatives — Week of August 7, 2026

链路：dongiannatti.substack.com 作者：Don Gianni Atti 类别：#video-tools #creative-AI

核心要点： - Palette（palettelabs.com）：把生成 / 编辑 / storyboard 集成到单一画布，按 shot 调度底层模型。 - Seedance 2.5（ByteDance）：30 秒原生 4K + 同步音频 + 50 参考资产；Long Video 模式支持 3 分钟（beta）。 - Dreamina（CapCut）：与 Seedance 重叠，时间戳控制突出。 - MiniMax-H3：开源多模态模型，本地 2K 视频生成 + 编辑。

flyP 视角： - 这是商业端"视频生成进入 30 秒原生 4K 时代"的关键信号；与 MiniWorld（开源 + 复现）形成商业-学术双轨。 - MiniMax-H3 自报开源 + 2K 是值得 flyp 后续 follow-up 的工业级多模态。

4.2 Last Week in Multimodal AI #40 — Search Across Everything

链路：thelivingedge.substack.com/p/last-week-in-multimodal-ai-40-search 作者：Philip Bankier 类别：#substack-weekly #multimodal-digest

核心要点： - Qwen3-VL-Embedding + e5-omni：单一向量空间统一文本 / 图像 / 视频 / 音频检索。 - HY-Video-PRFL（Tencent）：视频生成模型当潜奖励模型做 self-improvement（56% motion 提升 + 1.4× 训练加速）。 - PointWorld-1B / RoboVIP / Web World Models：3D 环境模拟 / 多视图训练数据 / 把互联网当训练场。 - LTX-2 / Qwen3-VL / cbottle：GPU-poor 路线本周延续。

flyP 视角： - Substack 端的"统一多模态嵌入"焦点与 flyp 7-15 LWMAI #40 的"统一检索"判断一致；v46 多模态主题的 §2.39.x 候选级新增可考虑把 Qwen3-VL-Embedding 加入。 - HY-Video-PRFL 与 flyp 7-13 LingBot-Video MoE、HY-Video 系列同源（Tencent 系），值得 flyp 后续追踪 Tencent 系 + 自我奖励视频生成的进展。

4.3 Last Week in AI #250+ — Mythos / GLM 5.2 / Multimodal

链路：lastweekin.ai/feed · RSS feed 缓存 类别：#substack-weekly #industry-digest

核心要点： - Google I/O highlight：Gemini 3.5（3.5 Flash 强调速度）+ Gemini Spark（always-on agent + Google Cloud + MCP）+ Gemini Omni 多模态视频生成/编辑 + Anti-Gravity 2.0 + Gemini for Science + Genie world model（Street View + Waymo 仿真）。 - Anthropic Sonnet 4.6（1M context + ARC-AGI-2 强势）。 - Gemini 3.1 Pro 在 ARC-AGI-2 大跳跃 + 多模态 demo。

flyP 视角： - Gemini Omni 是商业端"视频生成 + 编辑 + 多模态"最直接的对手；与 MiniWorld（开源）和 Seedance 2.5（ByteDance）形成三足鼎立。 - Genie world model 用 Street View + Waymo 是"现实世界作为世界模型训练场"的关键里程碑。

5. 分类标签汇总

  • #video-generation：HelloWorld、UniWorld-View、Diff-VF、MiniWorld、RoboReact、Sci-VBench（评测）
  • #multimodal-reasoning：Evidence-RL、SABRE、Sci-VBench（评测）
  • #unified-multimodal：Towards Physics of MM Pretraining、Hunyuan3D-Buffalo
  • #vlm-eval：SABRE、Evidence-RL、Science Video Reasoning
  • #vlm-efficiency：RUTA（rate-utility token allocation）
  • #embodied：RoboReact、HelloWorld（社会交互）
  • #3d-generation：UniWorld-View、Hunyuan3D-Buffalo
  • #world-model：MiniWorld、HelloWorld（社会交互）、SimWAM（8-11 落盘）
  • #survey-of-paradigms：Towards Physics of MM Pretraining
  • #benchmark：Sci-VBench、SABRE
  • #training-free：Diff-VF
  • #reproducible-recipe：MiniWorld（Apache 2.0）
  • #substack：AI for Creatives、Last Week in Multimodal AI #40、Last Week in AI #250+
  • #commercial-product：Palette、Seedance 2.5、Dreamina、MiniMax-H3
  • #tencent-system：HY-Video-PRFL、Hunyuan3D-Buffalo、WorldClaw（flyp 8-10 e1prep）
  • #meta-system：Towards Physics of MM Pretraining（Meta + Oxford）
  • #open-source：MiniWorld（Apache 2.0）、Qwen3-VL-Embedding（待查证）、MiniMax-H3
  • #negative-result：SABRE（VCD / SoM 推理时缓解无效）

6. 建议精读 / 反方审稿 / 主题页更新

6.1 必读 deep-read（≥ 12KB critical-read）

  1. Towards Physics of Multimodal Pretraining（arXiv 2608.05000）—— 立基础延展候选 v46 §2.39.163；与 Boogu-Image 0.1（flyp 7-19）、SenseNova-Vision（flyp 7-16）形成"统一多模态立基础延展三件套"。
  2. HelloWorld（arXiv 2608.05070）—— 立基础延展候选 v46 §2.39.164；与 LingBot-Video（flyp 7-13）、MiniWorld（flyp 8-06 critical-read）形成"交互式 WAM 立基础延展三件套"。
  3. SABRE（arXiv 2608.07435）—— 反方候选级新增 v46 §3.3 #111；与 OPPO（flyp 7-02）、Evidence-RL 形成"VLM 视觉证据训练 / 评测 / 评估"完整链条。

6.2 候选级轻读（5-8KB）

  1. Sci-VBench（arXiv 2608.09873）—— 评测方法学 25 面体新增 v46 §1 折 2.1 + 与 ChronoVision / StreamArena 形成"科学 + 时序 + 长时程"视频评测三件套。
  2. Evidence-RL（arXiv 2608.08021）—— 反方候选级新增 v46 §3.3 #112；与 Perception-R1（flyp 7-06）、SpectraReward（flyp 7-15）形成"VLM RL post-training 第三件套"。
  3. MiniWorld（arXiv 2608.01127）—— 立基础延展候选 v46 §2.39.165；可复现 + Apache 2.0 + 配套 DROID / RealEstate10K。

6.3 主题页更新

  • 多模态周报主题页：更新"v46 续立棒候选级新增 §2.39.163-§2.39.165（3 件）+ §3.3 反方 #111-#112（2 件）"。
  • 统一多模态预训练主题：新增 "Physics of MM Pretraining" 作为 v46 §1 折 4.2 立基础延展。
  • 视频世界模型主题：新增 "交互式 WAM = HelloWorld + LingBot-Video" 作为 v46 §1 折 4.4 立基础延展。
  • VLM 视觉证据训练/评测主题：新增 "SABRE + Evidence-RL + OPPO" 作为 v46 §1 折 3.3 立基础延展。

7. 建议写入文件路径

7.1 本周报

  • 本文件：/shared/research-kb/inbox/flyp/2026-08-12-multimodal-weekly-digest.md（约 16-17KB）

7.2 配套 deep-read 文件（待 v46 续立棒触发后单独立项）

  • 2026-08-12-multimodal-weekly-digest.md（本周报）
  • 2026-08-12-0950-Towards-Physics-of-MM-Pretraining-critical-read.md（必读 deep-read · 12-15KB）
  • 2026-08-12-1550-HelloWorld-critical-read.md（必读 deep-read · 12-15KB）
  • 2026-08-12-2250-SABRE-critical-read.md（反方 deep-read · 12-15KB）
  • 2026-08-12-T0945-Evidence-RL-light-read.md（候补 light-read · 5-7KB）
  • 2026-08-12-T1545-MiniWorld-light-read.md（候补 light-read · 5-7KB）

7.3 候选级新增 v46 续立棒候选

  • v46 §2.39.163 Towards Physics of MM Pretraining（arXiv 2608.05000）—— 立标级中-高档 ★★
  • v46 §2.39.164 HelloWorld（arXiv 2608.05070）—— 立标级中档 ★
  • v46 §2.39.165 MiniWorld（arXiv 2608.01127）—— 立标级中-低档 ★
  • v46 §3.3 #111 SABRE（arXiv 2608.07435）—— 反方候选级新增
  • v46 §3.3 #112 Evidence-RL（arXiv 2608.08021）—— 反方候选级新增
  • v46 §1 折 2.1 评测方法学 Sci-VBench（arXiv 2608.09873）—— 评测 25 面体新增第 26 件

8. 待人工确认的问题

  1. arXiv 2608.05000 v1 vs v2 差异：v1 提交于 8-04，v2 提交于 8-09，v2 是否包含 Transfusion vs BAGEL / Emu3.5 cross-architecture 对照？决定是否值得 deep-read。
  2. SABRE 的 VCD / SoM 无效结论是否：在 Evidence-RL + RL post-training 路线上有反向成立？这是评测 → 训练的方法学闭环关键。
  3. HelloWorld 仓库完整度：AlayaLab/HelloWorld 仓库已建但代码 + 权重未发，Alaya Lab 8-12 ~ 8-15 是否会发布？
  4. Sci-VBench 评测对象规模：截至 8-12 仅评测 3 个模型，PaperWithCode leaderboard 是否同步上线？
  5. Gemini Omni 视频生成 vs MiniMax-H3 vs Seedance 2.5：商业三足鼎立的真实性能对比需要 8-15 ~ 8-30 期间的独立评测。
  6. Qwen3-VL-Embedding + e5-omni 是否覆盖 Substack 之外的 arXiv 论文：本周 arXiv 未搜到对应正式 paper，"跨模态统一嵌入"是 LWMAI #40 提出的，但论文出处需进一步核验。
  7. 8-12 HF Daily 16-20 名：tom 8-12 抓取的是前 15 名，16-20 名是否含 multimodal 主分类新论文？决定是否本周还有边际增量。

9. 一句话总结（flyP 视角）

本周（08-05 → 08-11）多模态主题进入"统一预训练物理学化 × 交互式 WAM × 科学视频评测"三向收紧期。Meta + Oxford 的 Towards Physics of MM Pretraining（2608.05000）首次把"统一多模态训练"用系统级受控实验量化；Alaya Lab + U-Tokyo 的 HelloWorld（2608.05070）+ Tencent 系 HY-Video-PRFL + MiniWorld（2608.01127，Apache 2.0）+ RoboReact（2608.03387）构成"交互式视频世界模型"完整链路；Sci-VBench（2608.09873）+ SABRE（2608.07435）+ Evidence-RL（2608.08021）+ OPPO/MIRAGE 形成"科学 + 拉锯 + RL 反事实"评测/训练闭环。Substack 端 Last Week in Multimodal AI #40 + AI for Creatives 8-07 与 arXiv 节奏高度耦合。v46 续立棒候选级新增 = 6 件（§2.39.163-165 立基础延展 3 件 + §3.3 反方 #111-112 新增 2 件 + §1 评测 26 面体新增 1 件）；立标饱和度机制延续 flyp 8-11 multimodal-e1prep §3.2 三态切换候选。

附录 A · 引用链接一览

必读论文（5 篇）

候补论文（5 篇）

Substack / 信源（3 篇）

关联 flyP 历史产出（沿用，不重复）

  • flyp 2026-08-11 multimodal-e1prep（v45 备料 · 含 Round-Trip / C4 / SimWAM / Beyond Simple Scaling / Activity Frames / StreamArena 候补级 5 件）
  • flyp 2026-08-11 Round-Trip Consistency critical-read（§1 折 4.4 立基础延展第 1 件）
  • flyp 2026-08-10 LongHorizon-Harness critical-read（§2.39.157 v45 立基础锚升级）
  • flyp 2026-08-09 KVAE Tokenizers critical-read（§2.39.155）
  • flyp 2026-08-06 MiniWorld video-world-model-from-scratch critical-read（本周报 §3.1 重提）
  • flyp 2026-07-15 multimodal-weekly-digest（前一周报）

附录 B · 与历史 / 他实例不重复确认

  • 不重复：与 tom（8-10/8-11/8-12 hf-daily）、jay（8-12 csdn-inference-rag-mcp）、spark（8-11 无新）、stephen（8-12 无新）已交叉核对。
  • 不重复：Round-Trip Consistency / C4 / SimWAM / Beyond Simple Scaling / Activity Frames / StreamArena 已覆盖于 flyp 8-11 multimodal-e1prep，本周报不重复。
  • 不重复：MiniWorld 已覆盖于 flyp 8-06 critical-read，本周报 §3.1 仅作 1 段精简回顾。
  • 新增：Towards Physics of MM Pretraining、HelloWorld、Sci-VBench、SABRE、Evidence-RL、UniWorld-View、Diff-VF、RoboReact、Hunyuan3D-Buffalo、RUTA、AI for Creatives 8-07、LWMAI #40 均为本周 flyP 历史未出现过的新增。

End of flyP · 周三多模态文献周报 · 2026-08-12