2026-09-18 在线视频 LLM × 多模态对齐评估（轻量精读）

实例：flyP
主题：流式视频大模型（VST）+ 视频多模态对齐基准（HAVEN）
类型：短审稿 / 候选入库
来源：arXiv（OpenReview / ICLR / ECCV 2026）+ Substack 工业视角一条

1. 检索范围

• arXiv 2026（cs.CV / cs.CL）：多模态长上下文、视频理解、在线流式推理、Video CoT、视频对齐基准
• GitHub：相关代码与 survey 仓库
• Substack：thenuancedperspective（Aishwarya Naresh Reganti）"The AI Agent Stack in 2026"
• 候选数：~12 条；本轮精读 2 篇 + 1 条工业视角

2. 候选条目（节选）

其他候选：LongVALE / MLVU / VideoHolmes / LVOmniBench / MMOU 等长视频基准，本轮不展开。

3. 高价值条目精读

3.1 VST（Video Streaming Thinking）—— ECCV 2026

• 链接：https://arxiv.org/abs/2603.12262 ｜ 代码：https://github.com/1ranGuan/VST ｜ 项目页：https://1ranguan.github.io/VST/
• 核心贡献 1. 提出 thinking while watching 范式：在视频流持续到来的过程中，把 LLM 推理分摊到播放过程，避免"等视频播完才思考"的延迟。 2. 后训练管线：VST-SFT（结构化把离线 VideoLLM 适配为因果流式推理）+ VST-RL（多轮流式视频交互环境里的端到端自探索 RL）。 3. 数据合成：video KG → 流式 QA + entity-relation grounded streaming CoT，强制多证据、持续关注。
• 核心数字
• StreamingBench 79.5%，OVO-Bench 59.3%；VideoMME-long 55.3%，LongVideoBench 58.0%；VideoHolmes 相对 Video-R1 +5.4%。
• 相对 Video-R1 响应延迟 15.7× 更低（这是真正的工程卖点）。
• 方法拆解（短版）
• 感知与推理解耦：感知头持续压缩新到片段为 token，推理头以"思考片段"形式穿插输出。
• 因果掩码 + 流式 KV cache 复用，推理耗时被摊到播放时钟上。
• RL 奖励基于"及时性 + 准确性"复合信号，多轮流式环境避免离线分布漂移。
• 主要问题 / 风险
• 论文未给消融中"thinking 触发节拍"的超参敏感性分析，节拍策略可能高度依赖数据集。
• RL 阶段自探索在多大程度上依赖合成 KG 数据的真实性，缺乏真实直播/监控场景的零样本外推评估。
• 与"agent + 工具调用"路径（如 VideoAgent、SeeReP）相比，VST 是端到端单模型路线，外挂检索/工具的能力被弱化。
• 可信度：中高。ECCV 2026 接收 + 开源代码 + 多个公开 benchmark 上 SOTA，且延迟数据来自论文自报，独立复现仍需 1-2 个团队对照。
• 建议：✅ 入库 notes/video-llm/streaming/ + reviews/2026-eccv-vst.md；优先级 P1。复现重点：流式 KV 复用、节拍调度策略、VST-RL 奖励实现。

3.2 HAVEN —— 多粒度多模态对齐基准

• 链接：https://arxiv.org/abs/2605.19223
• 核心贡献 1. 提出 frame / shot / video 三粒度统一标注 + 显式、连续的多模态对齐（不只是 QA pair）。 2. 评估套件覆盖摘要、时序推理、多模态 grounding、显著性排序四类任务。 3. 在多 SOTA MLLM 上验证"illusion of capability"：文本流利 ≠ 视觉对齐。
• 主要问题 / 风险
• 标注规模与分布未在摘要中暴露，需查正文；偏长视频/电影类可能造成域偏置。
• 与已有 VideoHolmes、LongVALE 存在重叠，差异化主要靠"显式层级对齐"，工程复用门槛不低。
• "illusion of capability"是观察性结论，缺少对失败模式的形式化分类（如 grounding leak、上下文幻觉、显著性偏移）。
• 可信度：中。基准质量决定结论可信度，需先看样本量、标注一致性、Krippendorff α、是否提供专家 vs 众包差异。
• 建议：✅ 入库 notes/benchmarks/multimodal-video/ + reviews/2026-haven-pending.md，待补查：标注规模、一致性、是否开放评测服务器。

4. Substack 工业视角（补充 1 条）

• 专栏 / 作者：The Nuanced Perspective / Aishwarya Naresh Reganti
• 链接：https://thenuancedperspective.substack.com/p/the-ai-agent-stack-in-2026
• 核心观点（中文摘要）：2026 年 agent 工程真正瓶颈不再是模型规模，而是 observability + eval-first：结构化 trace、回归集、prompt/tool 版本化、在线离线 eval、漂移检测、人审 pipeline。
• 与本轮研究的关联：VST 的"VST-RL + 持续流式环境"路径本质上就是把 eval/在线评测做进了训练；HAVEN 的"illusion of capability"则对应 eval-first 视角下对幻觉的工程级度量。
• 可信度：中（行业资深从业者 newsletter，非学术；适合做趋势旁证，不进入核心审稿）。

5. 分类标签

multimodal-llm video-understanding streaming-reasoning online-inference rl-post-training benchmark grounding hallucination agent-eval eccv2026 2026

6. 建议写入路径（GitHub-ready 草稿）

• notes/video-llm/streaming/vst-paradigm.md —— VST 范式速览 + 与 Video-R1/TimeChat-Online 对比表
• notes/benchmarks/multimodal-video/haven-overview.md —— HAVEN 三粒度对齐与已有基准差异图
• reviews/2026-eccv-vst.md —— VST 短审稿（核心贡献 / 方法拆解 / 实验风险 / 复现清单）
• reviews/2026-haven-pending.md —— HAVEN 短审稿（标注规模与一致性待补查后再定级）
• digests/2026-09-18-multimodal-weekly.md —— 本轮两条主线 + Substack 视角摘要（可与同周其他实例 digest 合并）

本轮不执行 git commit / git push / gh pr，等待同步任务串行合并。

7. 后续验证动作

1. VST：拉 GitHub repo，确认权重是否齐全；用 InternVL2.5-7B 跑 StreamingBench / OVO-Bench 子集复现 1-2 个指标。
2. HAVEN：等作者放评测服务器或 HF 数据集；优先核验 frame-shot-video 三层标注一致性。
3. 横向：把 VST / CoF / Video-R1 / Video-TwG 在同一张 leaderboard 表里交叉对比，做一张"在线 vs 离线、CoT vs RL、端到端 vs agent"的对比图。
4. 与本周已产出的 2026-06-17-thinking-with-video-short-review.md 做去重 / 引用合并。

本轮实际写入：/shared/research-kb/inbox/flyp/2026-09-18-vst-haven-online-video-llm.md
未写入 notes/ / reviews/ / digests/，因同步任务负责统一落库。