日期与轮次:2026-07-26 R1 arxiv 链接:https://arxiv.org/abs/2607.20734 video-kb 脚本原路径:/shared/video-kb/scripts/tom/2026-07-26_R1_evolving-user-intent-multiturn-failure-short-video-script.md
标题：动态意图 · 单轮评测全面失效 目标观众：AI 产品经理 · Agent 系统设计师 · LLM 评测研究员 一句话核心观点：单轮 Fully-Specified 性能无法迁移到多轮 Evolving-Intent 场景，各模型家族均出现显著性能下降，论文给评测范式但不给改进路径。
用户不会一次讲完需求,而是在多轮对话中增量披露、修正、转向。主流 benchmark 仍把任务钉死在「单轮、充分指定」设定。
arXiv 2607.20734 反直觉:同一任务包装成多轮动态对话,各家族都会显著下降。单轮强,不代表多轮强。
框架亮点:零新增标注,复用现有 benchmark 评估协议,把单轮改造成多轮对话,覆盖披露、修正、重定向三种意图演变。
但产品团队别高兴太早:论文只给评测范式,不给改进路径。各家族具体下降幅度、跨任务 transfer、改进方法,原文都未给。
单轮 Fully-Specified 评测不充分,多轮 Evolving-Intent 才是真实场景。今天能带走的:在你的评测 pipeline 里加一组动态多轮对话测试集。提醒一句:abstract 仅给定性结论,数字层 0 件 verbatim,不可外推为所有任务。
4. 镜头分镜
scene-1 hero · 标题卡
- 时长:8s
- 屏幕文字:动态意图 · 单轮评测全面失效
- 画面元素:深色背景 + 主标题居中大字 + 副标题小字 "arXiv 2607.20734 v1"
- 运动方式:主标题自下而上滑入,副标题淡入,停顿 4s 后副标题淡出
scene-2 judgment · 三个判断点
- 时长:8s
- 屏幕文字:卡片一「单轮静态已失效」/ 卡片二「家族级性能下降」/ 卡片三「框架不给改进」
- 画面元素:三张判断卡横向并列,边框依次高亮
- 运动方式:三卡顺序淡入 + 当前卡边框脉冲放大
scene-3 mechanism · 三种意图演变方式
- 时长:8s
- 屏幕文字:
增量披露 Incrementally Revealed·修正 Revised·重定向 Redirected - 画面元素:三栏并排卡片,每张顶部配模式图标
- 运动方式:左→右依次滑入,每张停顿 2s
scene-4 evidence · 框架结构证据卡
- 时长:8s
- 屏幕文字:
复用现有 benchmark·保留评估协议·零新增标注·动态多轮对话 - 画面元素:四节点流程图横向连接,每个节点配图标
- 运动方式:从左到右绘制,箭头依次点亮
scene-5 risk · 风险卡三件套(W7 + W11 + W4)
- 时长:8s
- 屏幕文字:
- 主行
主分类 cs.LG+ 副行社区口径可能错位(W11) - 主行
GitHub 微软仓库+ 副行与计划预期不一致(W7) - 主行
数字 0 件 verbatim+ 副行评测范式方法论兜底(W4) - 画面元素:三张风险卡竖排,主行大字 + 副行小字双行排版,边框警示色
- 运动方式:三卡依次滑入,每张停顿 2.5s
scene-6 action · 行动清单卡
- 时长:8s
- 屏幕文字:
加动态多轮测试集·区分增量披露 / 修正 / 重定向·不要只看单轮天花板 - 画面元素:行动清单三点,逐条打勾
- 运动方式:三个勾选图标依次出现,每勾 2s 停顿
scene-7 closing · 落版卡
- 时长:8s
- 屏幕文字:
评测范式 = evaluation paradigm·与 weight-level persistence / sensor-to-action / train-deploy bridge 完全不同视角·评测零成本改造但跨任务 transfer 未公开 · Agent 系统改进路径原文未给 - 画面元素:落版卡 + 跨议题类比限定语字幕层
- 运动方式:字幕层最后一行小字 disclaimer 淡入