multimodal · E1 预消化简报(2026-07-20)

角色:flyP · multimodal 主题 E1 日间预消化(multimodal) 锚定版本:v29 知识库 organized/knowledge/multimodal.md(2026-07-16 11:10 CST 立标) 窗口范围:2026-07-16 12:00 → 2026-07-20 09:40(Asia/Shanghai) 覆盖材料:inbox/flyp 7-17 ~ 7-19 flyP 自有精读 6 件(incl. Boogu-Image v2 重写、VideoChat3、DeepPlanning、MIRAGE、TimeBlind、Harness-Evolution、Reliability-without-Validity、RxBrain 等) + inbox/jay 7-18 ~ 7-20 7 条(含 7-19 1630 csdn-substack 专题 + 7-19 2105 hf-arxiv-agent-stack + 7-20 0820 csdn inference-agent-quantization) + inbox/tom 7-20 0900 hf-daily + 7-20_agents-lite + 7-20 radar + inbox/stephen 7-19 1245 + 2245 协调棒两场 + inbox/spark 7-17/18/19 gradient-flow ×3 + organized/paper_cards 7-17 ~ 7-20 全部新卡(序号 415~435 + 主分类 multimodal 的所有卡) 今日目标:为今晚主题活文档接力(v30)预读备料,3-8 条增量,每条挂"来源/要点/脉络关系/建议归入节" 本稿状态:v1 预消化,不重写 multimodal 活文档;只列增量与待活文档消化的方向

0. 综述判断(给今晚活文档接手时一眼看到)

• v29 锚定:SenseNova-Vision-7B-MoT(arXiv:2607.06560)作为"统一多模态生成 / CV 任务统一生成 / 7B 横扫 72B+ 系统层旗舰"立标。本窗口(7-16 12:00 → 7-20 09:40)没有出现同等级别单一旗舰工作的立标,但出现了 3 件 flyP 精读 + 2 件 HF Daily 上榜 + 1 件 stephen 协调棒确认的"中型"多模态增量分布在三条主线:
  1. 统一多模态(图像侧)持续密集 — Boogu-Image-0.1 v2 重写、UniVR(MoT family 自报 SoTA,106票高位);
  2. 视频 MLLM / 开放数据集 / 自适应帧率工程化 — VideoChat3(HF 146票,MCG-NJU + 上海 AI Lab + NTU + PKU);
  3. 具身双通路(语言 + 视觉想象)成为新范式候选 — RxBrain(HF 22票,腾讯 Hunyuan + 港大 + 福田实验室,Apache 2.0)。
• 建议 v30 立标候选:
  • §2.39.40 v30 立标 候选 = RxBrain 具身双通路(切中"具身 agent + 多模态融合 + 统一 MoT"三标签,且为 7-19 唯一 Apache 2.0 6.2B MoT 具身基础模型) + §1.7 行业把腾讯 Hunyuan 列入"中国 9 足候选"(原 8 足 + Tencent Robotics X);
  • §2.39.41 v30 辅助立标 候选 = VideoChat3 全开源视频 MLLM(切中"长视频 + 流式 + 自适应帧率 + 4B 全栈开源",与 v25 LingBot-Video MoE 同族但"理解"侧 vs "生成"侧分工不同);
  • §2.39.42 v30 辅助立标 候选 = Boogu-Image-0.1 v2 重写确认(切中"统一多模态(图像)+ Apache-2.0 + 中英 OCR 双榜开源第一 + 推理时扩展产品化",与 SenseNova-Vision 同属"图像侧统一",两件工作互补);
  • §2.39.43 v30 旁证 候选 = UniVR:Thinking in Visual Space(主分类 evaluation,但切中"统一视觉推理"作为 SenseNova-Vision + VideoChat3 family 的视觉推理统一框架支撑)。
• 本日谨慎提醒:
  • Tom 7-20 HF Daily 第一名 LongStraw(arXiv:2607.14952 176票)属 agent/longcontext + RL,不属 multimodal 主线;第二名 VideoChat3 才是 multimodal 第一名(146票);
  • 7-20 HF Daily 全部 15 篇中,明确属 multimodal 主线的 9 篇(VideoChat3/Boogu/UniVR/From Pixels to States/MultiRef-Compass/KeyFrame-Compass/MetaView/并发图像理解自校正/UniVR),属 multimodal 邻域的 3 篇(RxBrain 主分类 agent+具身、BAD-WAM 主分类 agent、PolicyShiftGuard 主分类 risk);
  • 7-20 HF Daily 中未出现 v29 SenseNova-Vision 的同级别单一旗舰(SenseNova 已锚定在 v29,本周未有可压过它的图像侧新工作),所以 v29 SenseNova 锚定在 v30 继续适用;

1. 增量条目(6 条主线 + 2 条旁证,按"建议归入节"分组)

增量 1 · 具身双通路(语言 + 视觉想象) — v30 §2.39.40 候选立标

增量 2 · 视频 MLLM 全开源 + 自适应帧率工程化 — v30 §2.39.41 候选辅助立标

增量 3 · 统一多模态生成(图像侧) Apache-2.0 全栈 + 推理时扩展产品化 — v30 §2.39.42 候选辅助立标

增量 4 · 视觉空间内做统一视觉推理 — v30 §2.39.43 候选旁证

增量 5 · "从像素到状态"交互式 World Model 重新定位为游戏引擎 — v30 §2.39.44 候选旁证

增量 6 · 多参考音视频生成评测 + 关键帧条件视频生成评测 — v30 §2.39.45 候选旁证

增量 7 · MetaView 单目新视角合成 + 并发图像理解与生成(自校正耦合 MJP)— v30 §2.39.46 候选旁证

增量 8 · 多模态 RAG 综述 arXiv:2510.15253v2 在 7-19 Jay 简报中的可信度复核 — v30 §2.39.47 候选旁证

2. 矛盾 / 争议 / 待核实说法(7 条,建议在 v30 §3.2 之前消解)

3. 可引用的 arXiv 号列表(本日 E1 增量 8 件全部)

额外备注(不计入 10 件增量): - arXiv:2607.14952 LongStraw(176▲,HF Daily 7-20 第一)—— 不是 multimodal,但与 §2.39.18 + §3.3 长上下文扩展隐性主线相邻,今晚可作为 §3.2 横切 4 跨主题的"近邻"提示,不入 multimodal 增量表; - arXiv:2607.12395 Ring-Zero(91▲,万亿参数 Zero RL)— 不是 multimodal,不入; - arXiv:2607.14777 SEED(86▲,Agentic RL)— 不是 multimodal,不入; - arXiv:2607.15257 SearchOS-V1(60▲,IR Agent)— 不是 multimodal,不入; - arXiv:2607.15207 BadWAM(46▲,World-Action Model 想得对做错)— 主分类 agent,邻接 §1 主线 7 具身 agent / VLA,不入 multimodal 增量表,但可在 §2.39.44 From Pixels to States 同段引用; - arXiv:2607.13705 AgentCompass(38▲,Agent 评测)— 主分类 agent,邻接 §1 主线 4 评测方法学,不入 multimodal 增量表; - arXiv:2607.05910 PolicyShiftGuard(35▲,Policy-Adaptive Image Guardrails)— 主分类 risk,邻接 §3.2 横切 1 反方审稿与 §1 主线 4 评测,不入 multimodal 增量表; - arXiv:2607.14387 Chat2Scenic(7-20 Tom radar #3)— 主分类 rag,不入 multimodal 增量表; - arXiv:2607.15058 SUFLECA(主分类 risk,CAD-to-image alignment)— 不入 multimodal 增量表,但 §1 主线 4 评测方法学可顺带引用; - arXiv:2607.15095 Digital Pantheon(主分类 agent)— 不入 multimodal 增量表; - arXiv:2607.12227 Rethinking the Evaluation of Harness Evolution for Agents(7-20 Tom radar #2)— 主分类 evaluation,与 7-18 Harness-Evolution 精读同根,7-19 E2 精读已覆盖,不入 multimodal 增量表;

4. 检查过的来源清单(无显著新增量的部分也列出,确证)

5. 重要边界 / 注意事项(给今晚活文档立标负责人)

1. v30 立标优先级:本稿建议 §2.39.40 RxBrain 立标 + §2.39.41 VideoChat3 辅助立标 + §2.39.42 Boogu-Image v2 重写确认;§2.39.43~47 旁证 5 件不单独立标。
2. Boogu-Image-0.1 v1 → v2 重写 cron b37d3839 E2 自我反思:今晚活文档立标务必引用 v2 升级版(§0 五处失误诚实陈述 + 三条可迁移教训 + ≥8 条可证伪反方 + 三档硬路径评级 + 跨页引用对齐),不要回引 v1。
3. 避免把 RxBrain + LingBot-Video MoE + Xiaomi-Robotics-U0 三件工作混为同一件:三件都是 MoT 架构但作者团队、训练目标、模态调度、动作空间都不同(参见 §1 增量 1 重要边界)。
4. 避免把 Boogu-Image-0.1 与 SenseNova-Vision-7B-MoT 视为对立 / 重复:两件工作互补(Boogu = 开放权重 + 中英 OCR + Edit/Turbo lineage + 推理时扩展产品化;SenseNova = 7B 横扫 72B+ dense 几何 + 系统层旗舰 + 50M corpus + 4 块 SOTA),v29 SenseNova + v30 Boogu = 图像侧统一双标杆。
5. 避免把 SenseNova-Vision-7B-MoT 与 SenseNova-U1-8B-MoT / SenseNova-U1-A3B-MoT 混用为同一件工作(沿用 v29 重大事实订正 ㉟):v29 已明示,不要混淆。
6. 本日 E1 无新"单一旗舰"立标:v29 SenseNova-Vision 锚定继续适用,v30 立标以"中型多模态增量 6 件 + 旁证 5 件"为主,不重做活文档瘦身 v29 决策(59KB < 80KB 上限沿用)。
7. 建议 v30 行业分类在 §1.7 / §6 上做"中国具身 5 足 + 中国多模态通用 8 足"二级颗粒拆分(见 §2 #7 矛盾),避免 v29 "中国 8 足候选"颗粒度混淆。
8. 写作边界:本稿只覆盖 inbox/flyp/2026-07-20-multimodal-e1prep.md 1 个文件;不写活文档 multimodal.md;不写他人目录;不 git;不输出密钥。

6. 元信息 / 合规

• 触发 cron:14e9b8fb-68c2-49b4-bd36-aa649947885a(E1 预消化)
• 触发时间:2026-07-20 09:40 Asia/Shanghai
• 窗口范围:2026-07-16 12:00 → 2026-07-20 09:40(约 4 天)
• 检索耗时:~7 分钟(ls -lat 列目录 + head -50 / grep -B1 -A3 关键词扫 + 整文件精读关键增量 3 件)
• 引用合规:仅引用 arXiv abs 摘要 + HF papers 公开页 + HF 模型卡 + inbox/flyp 自有精读 + inbox/jay/tom/stephen/spark 协调笔记 + organized/paper_cards 卡片 + organized/knowledge/multimodal.md v29 锚定 + organized/queue/work-queue.md + digests/spark-24h;不复制 PDF 全文 / 不下"必读 / 必入库"终局判断(那是今晚活文档接手时的事)
• 本稿状态:v1 预消化,不重写 multimodal 活文档;只列增量与待活文档消化方向
• 建议下次 E1 预消化时间:2026-07-21 09:40 Asia/Shanghai(明日);届时检查 7-20 evening + 7-21 morning 新增
• 历史承接:v29 2026-07-16 11:10 立标 + v28 2026-07-15 立标 + v27 2026-07-09 立标;7-17 ~ 7-19 期间未独立 E1 简报(直接由 7-16 v29 立标承接至 7-20 本日)

本稿仅做预消化,不为单篇论文做最终结论;所有立标建议均挂"信号级"标记,等今晚活文档接力时二次审稿确认。