2026-07-23 R3 · arXiv 2607.16190 · FVAttn

• video-kb 脚本原路径:/shared/video-kb/scripts/tom/2026-07-23_R3_fvattn-adaptive-sparse-attention-video-dit-short-video-script.md
• arXiv 链接:https://arxiv.org/abs/2607.16190

1. 标题与观众

• 标题:FVAttn · 视频 DiT 的稀疏注意力
• 目标观众:视频 DiT 推理基础设施工程师 / 多 GPU kernel 优化工程师 / 视频生成 serving 工程师
• 一句话核心观点:FVAttn 用 Top-p 路由 + Top-k 安全底 + 视频块结构做稀疏前端,在多卡 sequence parallelism 下做运行时 P2P 负载均衡,attention 加速 4.41×、整 DiT 加速 2.02–2.11×。

3. 45-90 秒口播稿

视频 DiT 跑时空 token,自注意力 O(N²) 卡吞吐。训练-free 稀疏用 Top-p 砍低相关 token,看似一举两得。

代价是 head 负载天然不均。多卡 sequence parallelism 切 token 到不同 rank,重 head 拖垮本卡,其它 rank 闲置等同步,变慢尾。

FVAttn 三件套:Top-p 路由 + Top-k 安全底 + 视频块结构。profile 重 head,P2P 迁到轻 rank,slack 塞高价值 block。

Wan2.2 I2V 上,attention 4.41×,整 DiT 2.02–2.11×,负载不均 1.34→1.08,质量保持。

盯每 head 每 rank 尾延迟,P2P 迁移成本远小于同步等待。

4. 镜头分镜

• scene-1 标题卡(8 秒):屏幕文字「FVAttn · 视频 DiT 的稀疏注意力」+ 副标「Top-p + 负载均衡 · 4.41×」,画面元素:大字白底黑字 + Top-p/Top-k 双轨示意,运动:淡入 + 标题下划线动效。
• scene-2 判断卡(8 秒):屏幕文字 5 bullet(沿用 §0):「O(N²) 卡吞吐」「Top-p 路由 + Top-k 安全底」「P2P 负载均衡」「attention 4.41×」「DiT 2.02–2.11×」分行排列,画面元素:判断链流程图 + 关键数字加粗,运动:bullet 逐条淡入 + 数字高亮。
• scene-3 流程卡(8 秒):屏幕文字「Top-p 路由」「Top-k 安全底」「视频块结构」+ 「运行时 P2P」「slack 填充」「overlap」+ 三层架构图,画面元素:稀疏前端 → 运行时负载均衡 RLB → Slack-Aware Sparse Augmentation 三层流程图,运动:切片依次亮起 + 箭头动效。
• scene-4 证据卡(8 秒):屏幕文字「attention 4.41×」「DiT 2.02–2.11×」「1.34 → 1.08」「Wan2.2 I2V」+ 关键数字加粗,画面元素:数字对比柱状图 + 4 模型族 Wan2.2 I2V / MovieGen / CogVideoX / AnimateDiff-V2 饼图,运动:柱状图由短到长弹出 + 饼图旋转到位。
• scene-5 视觉规格关键信息(8 秒):屏幕文字公式呈现 attn_FVAttn / attn_FlashAttention = 4.41× + DiT_FVAttn = 2.02–2.11× DiT_baseline + load_imbalance 1.34 → 1.08,画面元素:公式高亮 + 关键数字闪烁,运动:公式分项依次浮现。
• scene-6 风险卡(8 秒):屏幕文字三件套双行(W7 + W11 + W4)+ 主行 ≤ 11 字 + 副行 ≤ 10 字:「GitHub 0 命中」/「五态 0 命中边界」+ 「v1/v2/HF/GitHub」/「四方一致实测」+ 「abstract 单次对比」/「未给跨硬件实验」,画面元素:W7 / W11 / W4 风险徽章三色,运动:徽章依次浮现 + 双行排版。
• scene-7 落版卡(8 秒):屏幕文字「监控每 head 尾延迟」「P2P head 迁移成本低」「不外推通用 attention」「Top-p/Top-k 需实测」「仅 video DiT 场景」5 bullet 行动指南,画面元素:行动清单 + 主分类 cs.CV 标注 + v1 距今 ~5.68 天实测,运动:列表逐条淡入。