mirror_of: /shared/video-kb/scripts/tom/2026-10-12_R2_prism-dynamic-sparse-attention-2k-video-audio_short-video-script.md date: 2026-10-12 round: R2 arxiv_id: "2610.05416" arxiv_link: "https://arxiv.org/abs/2610.05416" video_kb_script_path: /shared/video-kb/scripts/tom/2026-10-12_R2_prism-dynamic-sparse-attention-2k-video-audio_short-video-script.md

1. 标题与观众

  • 标题：Prism 动态稀疏 = 按内容切块
  • 目标观众：多模态 / 视频生成方向 AI 研究工程师 · 技术产品经理(关注训练成本曲线、动态稀疏注意力机制可复用性、可复现硬件门槛)
  • 一句话核心观点：2K 联合视频-音频扩散的 token 量比 720p 多约 8 倍,全注意力训练成本不可承受,Prism 用「时空 macro-zone + video channel variance + audio-to-video cross-attn norm」三件套做动态稀疏,2.5× 训练加速但摘要不报绝对分数。

3. 45-90 秒口播稿

做 2K 视频生成的团队都知道一件事:分辨率从 720p 提到 2K,token 数大约膨胀 8 倍,全注意力的训练成本直接爆掉,显存、算力、收敛周期全失控。

arXiv 2610.05416 给了一个新思路:Prism。它来自 Fudan、Tencent Hunyuan 和浙大,2026 年 10 月 4 日落地 v1。

Prism 怎么省?三件套。第一,把 token 序列切成时空 macro-zone,让注意力结构跟着内容走;第二,每个 zone 内,用 video channel variance 估计视觉方向变化,再用 audio-to-video cross-attn 的 feature norm 估计音频对视觉的影响强度;第三,把这两个信号联合起来,动态选 block 长宽比。

数字上看,Prism 报告 2.5 倍训练加速,对比对象是 full attention。摘要原话还说,它生成的视频质量超过全注意力 —— 但摘要没有给绝对分数,没有 FVD、没有 FID、没有 AV-alignment,也没有人工 MOS。这句话不能直接读。

更重要的是,第三方 MindStudio 文章说基座是 MOA 32B,官方 README 写的是 MOVA-360p,两边打架,论文 PDF Section 4 必须二次核验。

还有一条限定语:训练加速不等于推理加速。动态稀疏模式是 query-dependent,推理延迟对照论文没披露,部署侧需要专门 kernel,别照摘要搬运。

训练数据规模、视频时长、计算量,摘要一个都没给。视频-音频对的版权也没声明。撞名也要避开 —— Prism 是棱镜工业产品的常见名,跟微软 PRiSM SDK 完全无关,也跟 trending 上的 LongCat-Video 是两篇不同的论文。

实操:做视频-音频联合扩散训练,先把 macro-zone 切法对齐到你的时空分布,block 长宽比自适应打开;落地前查 PDF Section 4 核基座、跑推理延迟对照、看数据规模披露、看版权声明,别让 trending 标题替你做工程决定。

4. 镜头分镜

  1. 开场 (8s):720p 视频网格放大到 2K,token 数膨胀 8 倍,显存条满格闪烁;屏幕文字「2K token ≈ 720p × 8 倍」;画面元素 = token 网格 + 显存条 + 警示橙爆炸图标;运动方式 = 网格放大 + 显存条逐格填红 + 爆炸图标从右上落入。
  2. 三件套 flow (12s):macro-zone 切块示意 + video channel variance 柱状图 + audio-to-video cross-attn norm 流线 → 联合信号汇入动态 block 选型器;屏幕文字「三件套 = macro-zone + 双信号 + 动态 block」;画面元素 = 三层堆叠流图 + 选型器框;运动方式 = 三层依次点亮,选型器框按内容切换长宽比。
  3. 2.5× 训练加速 evidence 卡 (8s):四宫格数字 verbatim = 2.5× 训练加速 · 对比 full attention · 摘要原话 · 仓库 MIT;屏幕文字「2.5× vs full attention」;画面元素 = 四宫格 + 黑底高对比 + 准绿色动态稀疏命中色;运动方式 = 四格依次亮起,鼠标指示样式高亮 2.5×。
  4. 撞名风险字幕层 (10s):Prism 棱镜产品 / 微软 PRiSM SDK / LongCat-Video / LongCat-Video-Avatar 1.5 / MOA vs MOVA 基座矛盾 5 阵营滚动;屏幕文字「撞名 7 阵营 · 别照 trending 标题搬运」;画面元素 = 5 行文字 + 红色禁止斜杠 + 双箭头对比;运动方式 = 行依次下滚,禁止斜杠横扫。
  5. 摘要未报绝对分数字幕层 (10s):FVD / FID / AV-alignment / MOS 四项空表 + 「surpassing full attention」无锚声明;屏幕文字「摘要未报绝对分数 · 别直读」;画面元素 = 四空表 + 红色 ✗ 覆盖 + 警告橙边框;运动方式 = 四格空表依次显现,✗ 符号逐格盖下。
  6. 训练加速 ≠ 推理加速 (10s):左边训练耗时下降 2.5× 折线,右边推理延迟问号闪烁 + 「query-dependent kernel 待补」;屏幕文字「训练加速 ≠ 推理加速」;画面元素 = 双折线 + 问号闪烁 + 警示橙;运动方式 = 左折线下降,右折线持平 + 问号闪三下。
  7. checklist 落地 (8s):五项落地检查 = ① 论文 PDF Section 4 基座核验 ② 推理延迟对照 ③ 数据规模披露 ④ 版权声明 ⑤ 复现路径(单卡 80GB + 集群 pdsh);屏幕文字「落地 5 件 checklist」;画面元素 = 5 行待办 + 勾选框;运动方式 = 5 行依次滑入,勾选框依次打勾。