周三多模态文献总结 · 2026-09-09
- 整理人：flyP
- 整理时间：2026-09-09 09:10 (Asia/Shanghai)
- 主题：多模态、图像生成、音频生成、视频生成、视觉语言模型（VLM）
- 输出节奏：周三固定简报（本期为本轮第 ? 篇；上一期
digests/2026-09-09_* 不存在，本周以 9-8 早棒 multimodal-e1prep + 9-9 早棒 hf-daily/radar 双源接力）
- 本期时间窗：聚焦 2026-09-02 ~ 2026-09-09 arXiv cs.CV/cs.CL/cs.MM/cs.SD/eess.AS，以及 Hugging Face Trending / Substack 研究线报
- 去重检查：flyP 本周已有 9-7 RoboTok critical-read + 9-7 multimodal-agent-evidence-rewards + 9-7 LatentPress critical-read + 9-7 multimodal-long-context-rag v2 + 9-7 multimodal-e1prep + 9-8 AgentVista critical-read + 9-8 RLVR/Implicitly-Incentivizes critical-read + 9-8 RAGEN-2 critical-read + 9-8 multimodal-e1prep，本期不重复主线；Tom 9-9 hf-daily-2026-09-09 + 9-9 agent-rag-longcontext-radar 已落，Stephen 9-8 2245 coord-check-evening 已落，本期为接力摘要。
1. 今日主题与范围
本周三多模态简报聚焦三条主线 + 一条 Substack 线索：
- 统一多模态检索与嵌入（Search Across Everything）：阿里 Qwen3-VL-Embedding/Reranker、Haon-Chen e5-omni、Tencent WeMM-Embedding、HuggingFace MMEB-V3 benchmark。趋势是「单向量空间覆盖 text/image/video/audio/visual-doc/交错」替代「单模态模型拼接」。
- 原生音视频联合生成 + 训练 / 推理时反馈：Kling Team Apollo/Klear（26B，Qwen2.5-7B caption encoder，Veo 3-level）、MOVA、Tencent HY-Video-PRFL（视频模型自评自训，56% 动作质量提升，1.4× 训练提速）、DreamX-Creator 1.0（阿里 2K 原生 AV）、NAVA Native Audio-Visual Alignment（百度 6.3B Align-then-Fuse MMDiT）。
- 组合式世界生成 + 多视角 3D：WorldSculpt（AlayaLab,
arXiv:2609.05416），用 Pixal3D 单物体 3D 生成先验 + 多视角 grounding 来组合构建「上百物体、强遮挡的城市/室内」3D 网格场景；UE-MeshyScene benchmark；可从 Marble / HY-World 2.0 派生。
- Substack 线索（α-signal δ-mem、The AI Engineer Agents Stack 2026）：分别讲「LLM 第三种 memory 路径」与「2026 agent 堆栈六层图」；两者均与 multimodal 长上下文 / 长程视频记忆邻接，可作系统层 anchor。
核心问题：
- 跨模态嵌入真能做到「一个向量空间支持 text/image/video/audio」吗？评测差距是否仍由 modality gap / score-scale 不一致撑起？
- 「视频模型既生成又自评」是否会让"内生偏好"污染最终生成？HY-Video-PRFL 的 56% 提升需结合不偏奖励。
- Apollo/Klear 26B 与 DreamX-Creator 7B 的差异是「双塔分立」vs「统一 cross-modal attention」吗？训练/推理代价对厂商是否仍是不可逾越的关？
- WorldSculpt 单物体先验组合成场景的「泛化到严重遮挡」如何在物理仿真闭环里验证？
- δ-mem 的 8×8 memory state 是否真的让 multimodal 多轮 agent 拿到持久视觉记忆？目前论文仍是 4B SmolLM3/Qwen3 等小模型上跑，与真实 LVLM 长视频检索链路距离多远？
2. 检索来源
- arXiv：cs.CV / cs.CL / cs.MM / cs.SD / eess.AS（2026-09-02 ~ 09-09 区间）；重点 ID 列表：
- 2609.05416 WorldSculpt（9-9 早棒 HF Daily #15 21▲）
- 2609.04010 Discrete Diffusion Speedups（9-9 早棒 HF #4 112▲）
- 2609.03241 FlowBalance（9-9 早棒 HF #5 81▲）
- 2609.04304 Iris（9-8 早棒 HF #6 54▲）
- 2609.04250 Motion-Omni（9-9 早棒 HF #8 38▲）
- 2609.03756 ENEAS（9-9 早棒 HF #9 35▲）
- 2609.04173 Last Translation Benchmark（9-9 早棒 HF #10 33▲）
- 2609.03586 Attention Triangle（9-9 早棒 HF #11 30▲）
- 2609.04094 DRACO（9-9 早棒 HF #12 26▲）
- 2609.00581 Enoki（9-9 早棒 HF #13 23▲）
- 2609.02750 Bilevel Coordinated Reflection（9-9 早棒 HF #1 130▲，multimodal 邻接级）
- 2609.00365 Dr. Claw（9-9 早棒 HF #2 125▲）
- 2609.03199 RoboTok（9-9 早棒 HF #3 116▲）
- 2608.30391 Agent 行为分析扎根理论（9-9 早棒 HF #15 19▲）
- Hugging Face Daily Papers：9-9 早棒 15 件（tom 9-9 已抓），9-8 早棒 15 件（tom 9-8 已抓）。
- Substack：
-
thelivingedge.substack.com/p/last-week-in-multimodal-ai-40-search（LWMAI #40，标题 Search Across Everything，覆盖 Qwen3-VL-Embedding、e5-omni、Music Flamingo、LTX-2、UniVideo、cBottle、VideoAuto-R1、PointWorld-1B、Web World Models、HY-Video-PRFL、Thinking with Map、RoboVIP、Klear、NeoVerse、VINO、PII-VisBench）
- alphasignalai.substack.com/p/rag-and-long-context-arent-enough（δ-mem，Mind Lab / NTU-Poria / Fudan / SJTU / CUHK / HKUST-GZ，arXiv 2605.xxxxx，2026-05-12 提交）
- theaiengineer.substack.com/p/the-ai-agents-stack-2026-edition（2026 6 层 agent 堆栈，Letta 2024 升级版）
- Tom radar / HF Daily / engineering / inference / eval / RAG / rag-lite：flyP 接力棒承接 9-9 早棒全部候选。
- 论文/工程一手：
- WeMM-Embedding（Tencent，
arXiv:2608.24053，已部署 WeChat）
- DreamX-Creator 1.0（Alibaba Group，arXiv:2608.31106，2026-08-31）
- Klear/Apollo（Kling Team，arXiv:2601.04151，26B）
- NAVA（百度，arXiv:2605.30073，6.3B）
- WorldSculpt（AlayaLab，arXiv:2609.05416，UE-MeshyScene benchmark）
3. 新增候选概览（按主题分组）
3.1 统一多模态检索 / 嵌入
| 论文 / 产物 |
来源 |
核心 |
标签 |
| Qwen3-VL-Embedding + Reranker（Alibaba） |
LWMAI #40 + qwen.ai/blog?id=qwen3-vl-embedding + HF |
双编码器统一 text/image/video/visual-doc；cross-encoder reranker；30+ 语言 SOTA；可作 drop-in 替代多模型拼接 |
#multimodal-embedding #reranker #qwen3-vl #multilingual |
e5-omni（Haon-Chen, arXiv:2601.03666） |
LWMAI #40 + HF Hub Haon-Chen/e5-omni-7B |
解决 omni-modal 嵌入的 modality gap、score-scale 不一致、负样本 hardness imbalance；text/image/audio/video 同时支持 |
#omni-embedding #contrastive #audio-embedding |
WeMM-Embedding（Tencent WeChat Vision, arXiv:2608.24053） |
HF Daily trending + GitHub Tencent/WeMM-Embedding + TechNode 8-27 报道 |
2B/4B/9B 系列；text/image/video/visual-doc/交错输入；MMEB leaderboard SOTA；已部署到微信视频号 / 公众号 / 朋友圈 / 电商 14 个线上 A/B；MMEB-V3 eval kit |
#multimodal-embedding #wechat #production-deployed #industry |
| MMEB-V3 |
GitHub Tencent/WeMM-Embedding/blob/main/mmeb_v3_eval |
含 30+ retrieval / classification 任务，含 image / video / visual-doc 子集 |
#benchmark #embedding-eval |
| MOVA / Apollo / Klear / DreamX-Creator |
详见 3.2 / 3.3 / 3.5 |
跨模态生成时常常把 caption 嵌入同时作为训练目标，统一检索是下游 |
#cross-link |
3.2 原生音视频联合生成
| 论文 / 产物 |
来源 |
核心 |
标签 |
Klear / Apollo: Unified Multi-Task Audio-Video Joint Generation（Kling Team, arXiv:2601.04151） |
arXiv v2 + HF 2601.04151 |
26B 参数 + 32 层 joint diffusion transformer + multimodal RoPE + Audio-VAE 44.1kHz→43Hz（1024× downsample）+ Qwen2.5-7B caption encoder；audio/video 质量比双塔 baseline +34%/+18%；单模态 T2A / T2V 也反超专用模型 |
#unified-av #multitask #joint-generation #kling |
MOVA: Towards scalable and synchronized video-audio generation（SII-OpenMOSS, arXiv:2602.08794） |
DreamX-Creator ref |
共享时间坐标系统 + 数据标注管线；DreamX-Creator / Apollo 等参照基线 |
#unified-av #synchronization |
NAVA: Native Audio-Visual Alignment for Generation（百度, arXiv:2605.30073） |
arXiv v1 + HF 2605.30073 |
6.3B Align-then-Fuse MMDiT；先在专用交互空间建立音视频对应，再用外部 context 条件化；Timbre-in-Context Conditioning；A-V 同步 + 时序控制显著优于双塔 |
#unified-av #mmdit #align-then-fuse |
DreamX-Creator 1.0: Democratizing Native Audio-Video Generation at 2K Resolution（阿里 DreamX Team, arXiv:2608.31106，2026-08-31 提交） |
arXiv v1 + HF trending + αXiv |
7B 紧凑模型；cross-modal attention + progressive joint training + RL with multimodal feedback + autoregressive 2K refinement pipeline；2K 分辨率原生音视频同步；公开对比 Veo3 等闭源产品 |
#unified-av #2k-resolution #open-source |
HY-Video-PRFL: Latent Reward Model from Video Generation（Tencent, LWMAI #40 + hy-video-prfl.github.io） |
HF tencent/HY-Video-PRFL + Project page |
把视频生成模型本身当作 latent reward model 来做 preference optimization；动作质量 +56%；训练加速 1.4×；构成「生成 - 评判 - 反馈」闭环 |
#self-rewarding #video-rl #preference-optimization |
| VideoAuto-R1（KAUST, LWMAI #40） |
GitHub IVUL-KAUST/VideoAuto-R1 |
显式推理的视频理解框架（与 Video-R1 同脉络） |
#video-reasoning #rl |
Motion-Omni（arXiv:2609.04250，paper_card 1244 已入库，主分类 multimodal） |
HF 9-9 #8 38▲ |
面向口语对话的端到端联合语音 + 全身运动生成 |
#audio-motion #joint-gen |
Attention Triangle（arXiv:2609.03586，paper_card 1247 已入库，主分类 multimodal） |
HF 9-9 #11 30▲ |
音视频模型中的「音频 - 视频 - 文本」注意力三角 |
#audio-visual #attention |
TCR: Audio-Video Temporal Alignment（arXiv:2609.02367，paper_card 1223 已入库，主分类 multimodal） |
v77 §2.39.324 沿用 |
音视频时序对齐 |
#audio-visual #alignment |
3.3 视频生成 / 长视频 / 训练加速 / 编辑
| 论文 / 产物 |
来源 |
核心 |
标签 |
| LTX-2（Lightricks） |
LWMAI #40 + ltx.io/model + GitHub Lightricks/LTX-2 |
4K 分辨率 + 音频 + 10+ 秒片段 + 消费级 GPU 可跑；低 VRAM；已集成 ComfyUI |
#consumer-gpu #video-gen #audio |
UniVideo（Kling, arXiv:2510.08377） |
LWMAI #40 + Project congwei1230.github.io/UniVideo/ |
统一框架做视频生成 / 编辑 / 理解，text 或 image 起，natural language edit；简化部署 |
#unified-video #edit |
| VINO |
LWMAI #40 + sotamak1r.github.io/VINO-web/ |
文本 + 参考视觉双输入的图像 / 视频生成 / 编辑 |
#image-video-edit |
VChain: Chain-of-Visual-Thought for Reasoning in Video Generation（arXiv:2510.05094） |
LWMAI #40 + arXiv html |
推理时用 multimodal LLM 抽 Visual Thoughts（关键帧）注入 Wan2.1-T2V-1.3B，无需 retrain，gpt-4o + gpt-image-1 pipeline |
#visual-cot #video-gen #inference-time |
MotionEnhancer（arXiv:2606.06853） |
9 月 trending |
把视频扩散用于「动作增强型」VLM，让模型显式感知运动 |
#motion #video-diffusion-for-vlm |
Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm（Fudan / OpenMOSS / CUHK, arXiv:2511.04570，CVPR 2026） |
GitHub tongjingqi/Thinking-with-Video + Project page |
「思维即视频」：Sora-2 在 VideoThinkBench 的 MMMU 上 69% / Eyeballing Puzzles 上比 GPT-5 高 10%；video generation model 作为统一理解 / 生成基底 |
#thinking-with-video #video-as-reasoning #cvpr2026 |
EditVid（arXiv:2609.04190，6 票，multimodal 邻接级） |
tom 9-8 radar |
统一视频编辑框架，因果记忆 + 长距离身份保持；flyP 邻接级备料 |
#video-edit |
| Vidu S1 Interactive Video |
flyP 9-7 multimodal-long-context-rag v2 已记录 |
交互式视频生成，与 Vidu 系族 |
#interactive-video |
3.4 世界模型 / 组合式 3D / 物理
| 论文 / 产物 |
来源 |
核心 |
标签 |
WorldSculpt: Generating Compositional Worlds from Grounded Videos（AlayaLab, arXiv:2609.05416，HF 9-9 #15 21▲ 新立标低首次） |
arXiv v1 + Project alaya-lab.github.io/WorldSculpt/ + GitHub AlayaLab/WorldSculpt |
把单物体 3D 生成先验 Pixal3D 改造为 multi-view conditioning pathway；从零训练只跑单物体 canonical space 但泛化到「上百物体强遮挡场景」；UE-MeshyScene benchmark 含每物体 GT mesh；可将 Marble / HY-World 2.0 转成组合式网格场景 |
#compositional-3d #world-model #multi-view #urban-scene #benchmark #new-entry |
PointWorld-1B（NVIDIA + Stanford, LWMAI #40, arXiv:2601.03782） |
Project point-world.github.io |
1B 参数 3D 世界模型从单图预测环境动力学；机器人可先在仿真中测试动作后果 |
#world-model #3d |
| Web World Models（Princeton AI2 Lab） |
Project princeton-ai2-lab.github.io/Web-World-Models/ |
把 web 当持久仿真环境；LLM 在确定性 web 代码里生成动作 / 叙事；可控 agent 训练场 |
#world-model #web #agent-training |
NeoVerse（arXiv:2601.00393，LWMAI #40） |
arXiv html |
单目视频 → 4D Gaussian Splatting（4DGS）；新视角渲染可作退化条件训练高质量时空一致视频 |
#4d-gaussian #world-model |
RoboVIP（LWMAI #40 + robovip.github.io，arXiv:2601.05241） |
Project page |
用 visual identity prompting + exemplar images 条件化 diffusion 模型，给机器人策略训练合成多视角时序一致视频 |
#robot-data-aug #synthetic-video |
| cBottle（NVIDIA） |
LWMAI #40 + HF nvidia/cbottle |
大气状态扩散模型；公里级分辨率 |
#atmospheric #diffusion |
3.5 评测 / 对齐 / 推理时 Reasoning
| 论文 / 产物 |
来源 |
核心 |
标签 |
PII-VisBench（arXiv:2601.05739，LWMAI #40） |
arXiv pdf |
VLM 在零视觉线索（AI 生成图像）下做 PII 推理评测；GPT-5.1 / Gemini-3-Pro 拒绝；Phi3.5-4B 标注「信息缺失」；LLaVA1.5-13B 直接给出地址；暴露 VLM 在「无视觉信息时」行为差异 |
#vlm-safety #pii #negative-result |
Music Flamingo（NVIDIA ADLR, arXiv:2511.10289，LWMAI #40） |
HF nvidia/music-flamingo-2601-hf + Project research.nvidia.com/labs/adlr/MF/ + Demo |
全长歌曲 + 音乐理论 / 和声 / 结构 / 文化 context 推理；GRPO 训练；超越 genre tagging 走向内容级检索 |
#audio-llm #music #reasoning |
MindWatcher（arXiv:2512.23412，LWMAI #40） |
HF paper page |
TIR agent 链式思考 + multimodal chain-of-thought + 8 类本地检索 corpus；连续 RL 训练 |
#agent #multimodal-cot |
Thinking with Map（Alibaba AMAP, arXiv:2601.05432，LWMAI #40） |
Project amap-ml.github.io/Thinking-with-Map/ |
用地图做地理定位的 agent；agentic RL + parallel test-time scaling；超过 Gemini-3-Pro 2.8× |
#geo #agentic-rl #multimodal-agent |
KoNA: Knowing What Not to Answer（arXiv:2609.04720，flyP 9-8 multimodal-e1prep 增量 6） |
tom 9-8 radar + 9-9 Lite |
VLM 选择性拒绝评测；5 类 = 错误前提 / 不安全 / 不可行 / 不可答 / 混合；与 Silent Failures 2607.19793 形成双锚 |
#vlm-eval #selective-compliance |
3.6 Substack 线索（multimodal 邻接级 / 体系层）
| 文章 |
作者/专栏 |
发布 |
核心 |
标签 |
| Last Week In Multimodal AI #40: Search Across Everything |
The Living Edge / Charles Packer |
本周 |
把过去一周 multimodal 收敛到「跨模态统一检索 + 视频自反馈 + 合成世界 + GPU-poor」四大主题；其中 Klear / Music Flamingo / LTX-2 / HY-Video-PRFL / PointWorld-1B / Web World Models 等是高质量线索 |
#newsletter #weekly #retrieval |
| RAG and Long Context Aren't Enough for Agent Memory. δ-mem Is a Third Option |
α-signal / AlphaSignal AI |
2026-05-12（arXiv 提交 5-12，Hacker News 230+ 票） |
Mind Lab（NTU-Soujanya Poria + Fudan + SJTU + CUHK + HKUST-GZ）；δ-mem 把对话历史存在 8×8 矩阵里影响 attention；Qwen3-4B-Instruct 上 5 个 benchmark 平均 46.79→51.66，仅 4.87M 可训练参数（0.12%）；test-time learning 子任务 26.14→50.50；可作 multimodal 长程视频记忆的「最小化 memory state」思路锚点 |
#substack #agent-memory #multimodal-neighbor #system-design |
| The AI Agents Stack (2026 Edition) |
The AI Engineer |
2026-Q3 |
6 层 agent 堆栈：model serving / data / frameworks / tools / memory / eval/guardrails；MCP 标准化工具；memory 成为一等架构原语；判断 context window 变大没有消灭 retrieval，而是改变 tradeoff，瓶颈在 chunks 选取 + ranking；可作 multimodal RAG / video memory 在系统层的体系锚 |
#substack #agent-stack #system-design |
3.7 工程实践 / 模型权重
| 产物 |
来源 |
核心 |
标签 |
| Tencent / WeMM-Embedding-2B 已上 FriendliAI API |
friendli.ai/models/tencent/WeMM-Embedding-2B |
商用推理 endpoint，2B 参数 |
#api #embedding |
| Tencent Hy4 preview 770B + 1M-token context |
TechNode 9 月新闻（早棒引用） |
与 WeMM 同周释放，标志 1M 上下文开始进入 chat 实用层 |
#industry #long-context |
| Alibaba Wan3.0 video model: 30-second generation + document input |
TechNode 9 月新闻 |
多模态视频生成开始支持文档输入 + 30 秒时长 |
#industry #video-gen |
| Zhipu Ox Alpha → GLM-5.3-Flash 权重公开 |
TechNode + flyP 9-5 multimodal-e1prep |
Zhipu 系族延续 |
#industry #open-weights |
4. 必读 3-5 篇
- Qwen3-VL-Embedding & Reranker + WeMM-Embedding + e5-omni 三件套
- 来源：Alibaba
qwen.ai/blog?id=qwen3-vl-embedding + Tencent arXiv:2608.24053 + arXiv:2601.03666
- 必读理由：本周最显著的「跨模态单向量空间」三连。Qwen3-VL 主打「30+ 语言 + 双编码器 + reranker」；WeMM 主打「生产部署真实流量 + MMEB-V3 leaderboard SOTA」；e5-omni 主打「score scale 修正」。三者覆盖了「前沿 / 生产 / 训练稳定性」三个面。判断方向：RAG 流水线是否应当「一切 → 多模态嵌入」？长视频 chunking 是否还应当走专用 frame encoder？
- DreamX-Creator 1.0 (
arXiv:2608.31106) + Klear / Apollo (arXiv:2601.04151) + NAVA (arXiv:2605.30073) 三连
- 必读理由：原生音视频联合生成进入「7B-26B 实用化」阶段。DreamX-Creator 把 2K refinement pipeline + RL multimodal feedback 落到 7B；Apollo/Klear 26B + Qwen2.5-7B caption encoder 是 Kling 商业级方案；NAVA 6.3B Align-then-Fuse MMDiT 给出「先对齐再融合」结构对比。判断方向：「先 joint 训练再 align」vs「先 align 再 joint 融合」是未来一年主导架构之争。
- WorldSculpt (
arXiv:2609.05416) + NeoVerse (arXiv:2601.00393) + PointWorld-1B (arXiv:2601.03782) 三连
- 必读理由：组合式 3D 世界生成是 9-9 早棒 HF Daily 新立标低首次（WorldSculpt 21▲）。把单物体 3D 先验 + 多视角 grounding 推到「上百物体强遮挡场景」是范式变化。NeoVerse 用 4DGS 做退化条件训练；PointWorld-1B 是 1B 级轻量世界模型。三者覆盖「组合 / 时空 / 轻量」三面。
- HY-Video-PRFL (Tencent, LWMAI #40)
- 必读理由：「视频模型自评自训」是 RLHF 之外的新反馈路径；56% 动作质量提升 + 1.4× 训练加速。但要注意：latent reward 是否会让模型「过拟合自己」从而多样性下降？需要在独立评测集（如 VideoAlign / VideoRewardBench）做交叉验证。
- α-signal δ-mem (
arXiv:2605.xxxxx 2026-05-12)
- 必读理由：8×8 memory state 引导 attention 是「轻量 + 在线 + 不冻结 backbone」三合一方案。在 Qwen3-4B 上 5 个 benchmark +5 点。值得作为「多模态长程视频记忆」的最小化方案候选之一；下一步问题是：能否挂到 LVLM（如 Qwen3-VL-8B）上用相同思路驱动长视频 chunk 的选择性重读？需要复现 + 跨 backbone 验证。
5. 高价值技术文章
- Music Flamingo (NVIDIA,
arXiv:2511.10289)：audio LLM 推理不再止于 caption / genre，而是走向音乐理论 / 和声 / 文化 context。Demo URL musicflamingo-nv-umd.github.io/#model-output，可以听输出判断质量。
- VChain (
arXiv:2510.05094)：Wan2.1-T2V-1.3B + GPT-4o/GPT-image-1 推理时插 Visual Thoughts；20 个测试场景 + 人工评测 + 定量对比。比 video DiT 端到端 retrain 便宜 1-2 个数量级。工程复用价值高。
- Thinking with Video (Fudan / OpenMOSS, CVPR 2026)：把 Sora-2 / Seedance 1.0 Pro / MiniMax Hailuo 2.3 / Wan2.2-TI2V-5B / MOVA / Nano Banana Pro / Seedream 4.5 / GPT Image 1.5 / BAGEL / Qwen3-VL 等统一在 VideoThinkBench 上评测；Sora-2 在 MMMU 69%，Eyeballing Puzzles 比 GPT-5 高 10%。这是「视频模型作为统一多模态底座」的第一份较系统评测。
- LTX-2 (Lightricks, GitHub
Lightricks/LTX-2)：消费级 GPU + 4K + 10+ 秒 + 音频 + ComfyUI 集成；是「GPU-poor」群体最现实的视频生成工具。
- Apollo/Klear HF trending：26B 模型权重 + 评估；可作 Kling 后续模型参考基线。
- DreamX-Creator 1.0（
arXiv:2608.31106，Alibaba）：7B 参数 2K 分辨率 + RL multimodal feedback + autoregressive 2K refinement；公开对比 Veo 3 等闭源。
- NAVA（百度，
arXiv:2605.30073）：Align-then-Fuse MMDiT；Timbre-in-Context Conditioning。
- WeMM-Embedding（Tencent）：已部署到 WeChat 14 个 A/B；MMEB-V3 eval 公开；GitHub repo Apache 2.0。
- PII-VisBench（
arXiv:2601.05739）：VLM 在「零视觉线索」时行为差异（GPT-5.1 拒绝 / Phi3.5 标记缺失 / LLaVA1.5 直接给地址）；可作 negative-result 立标候选。
6. 分类标签汇总
#multimodal #vlm #video-generation #image-generation #audio-generation #audio-video-joint #world-model #compositional-3d #multimodal-embedding #omni-embedding #reranker #unified-av #multitask #mmdit #align-then-fuse #2k-resolution #self-rewarding #video-rl #preference-optimization #thinking-with-video #visual-cot #consumer-gpu #unified-video #image-video-edit #world-model #3d #4d-gaussian #multi-view #urban-scene #atmospheric #vlm-safety #pii #negative-result #audio-llm #music #reasoning #geo #agentic-rl #multimodal-agent #vlm-eval #selective-compliance #substack #agent-memory #multimodal-neighbor #system-design #agent-stack #newsletter #weekly #retrieval #benchmark #embedding-eval #wechat #production-deployed #industry #long-context #open-weights #api #cross-link #multilingual #qwen3-vl #kling #synchronization #speech-motion #alignment #motion #video-diffusion-for-vlm #robot-data-aug #synthetic-video #diffusion #textual-inverse #contrastive #audio-embedding
7. 是否建议精读 / 反方审稿 / 主题页更新
| 主题 |
建议 |
| WeMM-Embedding + Qwen3-VL-Embedding + e5-omni 三连 |
建议精读 1 篇（WeMM，因为生产部署完整 + MMEB-V3 公开），其它两篇做摘要；建议更新 multimodal.md 主题页 §2.39「unified multimodal embedding」子节，把「一个向量空间覆盖 text/image/video/audio」作为新立标 |
| Klear / DreamX-Creator / NAVA 原生 AV 三连 |
建议精读 DreamX-Creator + Apollo/Klear 二选一（推荐 DreamX-Creator：7B + 2K + RL multimodal feedback + 开源 + 公开对比 Veo3）；建议更新主题页 §2.39「native audio-video generation」 |
| WorldSculpt + NeoVerse + PointWorld-1B 三连 |
建议精读 WorldSculpt（HF Daily 新立标 + AlayaLab 系族沿用：AlayaWorld/Long-Horizon World Modeling）；建议更新主题页 §2.39「compositional 3D world generation」 + §3.3 反方审稿补：单物体先验组合是否引入「先验偏置放大」？ |
| HY-Video-PRFL |
建议做反方审稿：自评自训是否会让视频模型「奖励黑客」？是否需要外部 reward model（如 VideoRewardBench）做交叉验证？建议在 multimodal.md §3.3 加反方锚 R1-R3 |
| α-signal δ-mem |
建议作为 multimodal long-context 邻接级线索；具体复现可在 multimodal.md §2.39「memory for LVLM」子节挂一条 reference；不直接占主分类 |
| KoNA |
flyP 9-8 multimodal-e1prep 已写入候选 ☆；建议本周内做 critical-read（与 Silent Failures 2607.19793 形成双锚） |
| LWMAI #40 全文 |
建议保存到 organized/knowledge/substack-lwmai.md，做周更 anchor；可作为后续 4 周趋势追踪 baseline |
| The AI Agents Stack 2026 |
建议转交给 tom + stephen，flyP 仅做 multimodal-RAG / video-memory 邻接级锚；不为 multimodal 主轴立标 |
| Motion-Omni + Attention Triangle + TCR 三连 |
建议在 multimodal.md §2.39.359-361 候选占位预备锚定实测触发持续；HF Daily 9-8 早棒 + 9-9 早棒票数小幅续立 / 持平 |
| Compile by Training / Knowing When Not to Reuse / RoboTok |
已在 multimodal.md §2.39.330/341/340 占位，本期仅做续立承接确认，不重复立标 |
8. 建议写入文件路径
- 本期简报：
/shared/research-kb/inbox/flyp/2026-09-09_multimodal-wednesday-digest.md（已写入）
- LWMAI #40 全文 reference：
/shared/research-kb/inbox/flyp/2026-09-09-substack-lwmai-40-search-across-everything.md（建议）
- α-signal δ-mem 中文摘要 + 评价：
/shared/research-kb/inbox/flyp/2026-09-09-substack-alphasignal-delta-mem.md（建议）
- WorldSculpt critical-read（精读版）：
/shared/research-kb/inbox/flyp/2026-09-09-worldsculpt-alayalab-arxiv-2609-05416-critical-read.md（建议）
- Apollo/Klear 摘要 + 对照 NAVA / DreamX-Creator：
/shared/research-kb/inbox/flyp/2026-09-09-native-audio-video-three-way-critical-read.md（建议）
- 论文卡片补登：
/shared/research-kb/organized/paper_cards/：
- 1256-2609-05416.md（WorldSculpt，9-9 HF Daily #15 21▲，主分类 multimodal 副分类 engineering + benchmark）
- 1257-2608-31106.md（DreamX-Creator 1.0，主分类 multimodal 副分类 audio + systems）
- 1258-2601-04151.md（Klear / Apollo，主分类 multimodal 副分类 audio + generation）
- 1259-2605-30073.md（NAVA，主分类 multimodal 副分类 audio）
- 1260-2608.24053.md（WeMM-Embedding，主分类 multimodal 副分类 embedding + retrieval）
registry/papers.jsonl 追加：本批 5 条 paper_cards 候补；由 Stephen / Spark 串行合并时执行；本期 flyP 不直接写 review/ 或 published/，不执行 git commit / git push / gh pr。
9. 待人工确认的问题
- WorldSculpt「泛化到严重遮挡」可信度：论文声称 finetune 全部在 single-object canonical space，但泛化到「上百物体强遮挡」场景，评估只在 UE-MeshyScene 与 Marble / HY-World 2.0；缺少跨数据集（Objaverse / GSO）独立评测，需要 paper 附录 + GitHub 代码确认。
- Apollo / Klear 26B 权重许可：HF paper 页面 + arXiv 都未明确权重许可；与 OpenRAIL / Apache 2.0 / 商业许可的边界需在下载前核对。
- NAVA Timbre-in-Context Conditioning 与 DreamX-Creator autoregressive 2K refinement 训练代价对比：百度 6.3B vs 阿里 7B 的 GFlops / VRAM / 数据规模差异需要在精读时确认。
- HY-Video-PRFL 内部评测与外部评测一致性：56% 动作质量提升来自 Tencent 自建评测集（HY-Video-PRFL repo / project page）；需要外部 VideoRewardBench / VideoAlign 验证。
- δ-mem 8×8 memory state 容量边界：作者在文末问「64 个数何时不够」，给出 test-time learning 26.14→50.50 但单任务增量未必普适；需要看具体任务类别（multi-hop / counterfactual / grounded video QA）的细粒度表现。
- The AI Agents Stack 2026 (Substack) 引用基线：作者明确区分「demo → production」的 gap，但未给出 6 层各自的硬指标（成本、延迟、可用率）；需要把每层判定当作「业界共识」而非「硬数据」。
- LWMAI #40 涉及项目发布周与作者署名：Charles Packer / The Living Edge 周更节奏稳定；arXiv 链接已在文中给出但部分链接到 HF paper page 而非 arXiv；引用时统一以 arXiv ID 为准。
- Compile by Training / RoboTok / Motion-Omni 9-9 早棒票数对比：24h 内立标信号排序：Bilevel Coordinated Reflection 130▲、Dr. Claw 125▲、RoboTok 116▲、Compile by Training 仍高但未在 9-9 早棒前 15 名显眼（具体票数需核对 9-9 HF Daily 完整 15 名列表；本期仅就 9-9 早棒前 15 摘要）。
- 多模态综述 / 长视频评估横评：CVPR 2026 接收 Omni2Sound、ParseBench、NoLiMa-VideoMMLU、LongShOTBench、LongVQUBench、LongVidSearch、Reveal 等评测；本期不展开，由 flyP 后续周更接力。
- NVIDIA 收购 Hugging Face（12.9B 美元，8-26 报道）：对 open multimodal 模型生态的中长期影响需要在后续 1-2 周内观察；9-8 早棒 stephen news-x-vip-radar 已记录，本期仅作 multimodal 邻接级背景。
10. 诚实度声明
- 本期立标信号 + 票数引用全部来自 tom 9-9 早棒
2026-09-09-0900-hf-daily-2026-09-09.md 与 tom 9-8 早棒 2026-09-08-0900-hf-daily-2026-09-08.md，未独立抓取 HF Daily 原文做交叉验证；如需做立标升档判断，需补充 9-9 早棒前 15 完整票数。
- WorldSculpt
arXiv:2609.05416 摘要 + 项目页已抓取，但论文 appendix + 消融未读；推荐标 #new-entry。
- Apollo/Klear / DreamX-Creator / NAVA 三连已抓 arXiv v1 摘要 + HF paper page，权重许可 / 训练代价未独立核验。
- α-signal δ-mem 已抓完整博客正文；arXiv 链接 arXiv 5 月提交 ID 未独立抓 arXiv abs 摘要，但作者署名 + 实验数据已在博客内列出，可信度中高。
- The AI Agents Stack 2026 仅抓首段与堆栈图；6 层各自的工程指标未抓取。
- LWMAI #40 已抓全文并摘要；后续周更可以「单期锚定 + 跨周对比」模式接入。
— 完 —