让 AI 看懂一整集电视剧：LongVideoAgent 的"找 + 看 + 答"三件套

• 关联论文：2512.20618

小时级长视频问答是 2025 年起多模态研究的硬骨头。一集电视剧、一节课程录像、一段监控长片——这类内容远超任何多模态大模型的上下文窗口。该论文《LongVideoAgent: Multi-Agent Reasoning with Long Videos》（HKUST，ACL 2026）提出一个主 Agent + 定位 Agent + 视觉 Agent 的三层框架，专门解决"压缩丢细节、工具太单一、规划不稳定"的老毛病。

为什么重要：当下的长视频理解走两条死胡同。一条是压缩派——把整段视频压成 caption 或摘要再喂模型，细粒度信息立刻蒸发，"男主第 23 分钟把杯子放哪"答不上。另一条是工具派——让 LLM 调用检索器，但工具集单薄，缺"定位 + 细观察"的组合拳，主 Agent 经常绕弯路。这篇工作同时补这两个洞。

核心机制：三类 Agent 各司其职。Master Agent 维护目标 g 与轨迹 τ，受最大步数限制，负责"什么时候继续 / 选哪个工具 / 何时停止"。Grounding Agent 输入当前目标和历史轨迹，输出一段时间区间 [t_start, t_end]——这是粗定位，相当于"先把场景缩小"。Vision Agent 拿到切出的片段，跑目标检测、OCR、视觉描述，吐回结构化的文本观测，例如"帧 17:21 男主手里是蓝色玻璃杯，桌上有红色笔记本"——这是细观察。整个轨迹可审计，每一步对应"定位 + 观测 + 总结"。

训练阶段对 Master 施加强化学习（GRPO）：奖励三要素是答案正确性 + 轨迹简洁性 + 工具调用效率。这是对抗 Agent"工具滥用 / 兜底空转"的实用设计——把"停止决策"作为一等公民训练目标。

证据边界与工程局限：作者贡献了两个 episode-level 基准 LongTVQA / LongTVQA+（区别于原 TVQA 的 clip 级），但论文未明确披露具体百分点、消融表格、Master / Grounding / Vision 模型的具体选型与规模，以及 RL 奖励中"正确性 / 简洁性 / 效率"权重——复现需自行做 baseline ablation。强依赖 Grounding 召回：定位错则 Vision 阶段放大错误而非纠错。数据集中在 TVQA 系列，娱乐视频为主，医疗、监控、工业长视频未覆盖。

落地直接启发：把"长视频理解"先拆成"找 + 看 + 答"三件事再各自上独立模型，是最低成本路径。Master 调度务必加步数 / 时间预算（建议 MAX_STEPS=6~10，配合单视频 ≤ 120s 双重保险）。Vision 输出强制结构化 JSON Schema，比自由文本更稳。评测必须升级到 episode-level，否则 clip-level 会高估能力。本地仓库与项目页已开放，可直接跑 baseline。

三个标题变体

1. 让 AI 看懂一整集电视剧：LongVideoAgent 的"找 + 看 + 答"三件套
2. 小时级视频问答怎么破？HKUST 这套多 Agent 框架给出答案
3. 压缩丢细节、规划总跑飞——长视频 QA 的两个死胡同被这篇论文一起补了

小红书卡片文案

🎬 你有没有想过，让 AI 看懂一整集《繁花》？ 不是摘要，是"第 23 分钟男主把杯子放哪"这种细粒度问答。

HKUST 这篇 ACL 2026 论文，把活儿拆给三个 Agent👇 🧭 Grounding Agent：先把场景缩小到几分钟区间 👁 Vision Agent：在区间里跑 OCR + 视觉描述，吐回结构化文本 🧠 Master Agent：维护目标 + 轨迹，决定何时停、选哪个工具

关键一招：对 Master 上 GRPO 强化学习，奖励 = 正确性 + 简洁性 + 工具效率 让 Agent 学会"少而准"，不再工具滥用 + 空转

⚠️ 诚实交代：模型选型、RL 权重、具体百分点原文没全披露，要复现得自己 ablate 数据也集中在电视剧集，医疗 / 监控还得另测

但作为 episode-level 长视频 QA 的工程范本，这篇值得收藏。

多模态 #视频理解 #多智能体 #强化学习 #AI论文 #LLM