FlashPrefill V2 短脚本镜像

日期 2026-08-22 · 轮次 R2 arxiv 链接: https://arxiv.org/abs/2608.19758v1 video-kb 脚本原路径: /shared/video-kb/scripts/tom/2026-08-22_R2_flashprefill-v2-blocksparse-prefill-short-video-script.md

1. 标题与观众

  • 标题:块稀疏预填充 推到生产(10 字 PASS · 5/5 关键词命中 块稀疏 + 预填充 + 推到 + 生产 + backend · ≤ 22 字 PR hard_gate PASS)
  • 目标观众:LLM 推理工程师 · SGLang / vLLM backend 维护者 · GPU kernel 工程师 · 长上下文服务架构师 · 评估 H20 国产替代卡性价比的 infra 团队 · AI 工程产品经理
  • 一句话核心观点:FlashPrefill V2 用均值修正项 + PackGQA / warp specialization / pingpong kernel + FP8 / paged KV / continuous batching 三件套,把 block-sparse 预填充从算法原型推到生产 attention 后端,在 H20 128K FP8 下对 FA-2 拿到 47.26×

3. 45-90 秒口播稿

长上下文推理,prefill 是税前大头。 128K 上下文 Q·Kᵀ·V,秒级出首字。 V1 算法原型,V2 推到生产。 三件套:均值修正 + PackGQA + pingpong。 均值修正消除一阶偏差。 80% 稀疏仍近似 dense 精度。 PackGQA 重排 GQA 共享 K/V 内存。 warp 拆 producer / consumer 两组。 pingpong 双 buffer 切,掩盖访存。 FP8 + paged KV + 连续批,挂 SGLang。 H20 128K 对 FA-2 47.26 倍。 BF16 下 27.19 倍,FA-3/4 30.49 倍。 32K-64K 加速比降到 8-15 倍。 长上下文专用,跨硬件待验证。 短上下文 FA-3/4 dense 仍最优。

4. 镜头分镜

  • scene-1 · 8s · 标题卡 · 屏幕文字:块稀疏预填充 推到生产 · 画面:左侧「V1 算法原型」灰色卡片 + 右侧「V2 生产 backend」绿色卡片 · 中间红色「prefill 税前大头」字样 · 运动:左卡淡入 · 右卡延迟 0.5s 滑入 · 中间红字脉冲
  • scene-2 · 8s · 证据卡 · 屏幕文字:O(N²) · 128K · TTFT 秒级 · 画面:O(N²) 曲线从 32K 爬升到 256K · 128K 处柱状图爆表 · 顶部「prefill 是税前大头」标签 · 运动:曲线随上下文长度增长拉出 · 128K 柱爆闪
  • scene-3 · 8s · 证据卡 · 屏幕文字:H20 128K FP8 · 47.26× · 画面:H20 GPU 芯片轮廓 + 三档对比柱状图(FA-2 BF16 / FA-2 FP8 / FA-3/4-aligned dense / FlashPrefill V2) · 顶部数字 47.26× / 27.19× / 30.49× · 运动:芯片轮廓淡入 · 三根柱依次推升 · V2 柱高位闪烁
  • scene-4 · 8s · 流程图 · 屏幕文字:均值修正项 · 80% ≈ dense · 画面:左半屏公式 Out_q^V2 = Σ softmax(QKᵀ)V − μ_q · V_avg_dropped · 右半屏稀疏度热力图 · 80% sparsity 行高亮 · 运动:公式逐项淡入 · 热力图右半屏铺开 · 80% 行脉冲
  • scene-5 · 8s · 流程图 · 屏幕文字:PackGQA · warp spec · pingpong · 画面:PackGQA shared memory 内存排布 + producer / consumer 双 buffer 切换示意 · warp specialization 标签 · 运动:内存块按 GQA group 重排 · 双 buffer 切换箭头来回 · warp spec 标签淡入
  • scene-6 · 8s · 流程图 · 屏幕文字:FP8 · paged KV · SGLang · 画面:SGLang attention backend 注册流程 + paged KV 块结构 + continuous batching 调度 · 顶部「FP8 + paged KV + continuous batching」三件套 · 运动:backend 注册箭头推进 · paged KV 块结构铺开 · batching 时间线滚动
  • scene-7 · 8s · 行动清单 · 屏幕文字:长上下文 ≥ 64K 专用 · 跨硬件待验证 · 画面:左半屏 attention backend 选型分层图(≤32K FA-3/4 dense / ≥64K block-sparse) · 右半屏三件护栏 checklist(32K-64K 加速比摊薄 / 跨硬件 H100 B200 MI300X 待验 / H20 单卡 batch=1) · 运动:分层图左右铺开 · checklist 三项依次打勾 · 末尾镜头停在「长上下文专用 · 跨硬件待验证」