Sol-Attn: Accelerating Video Generation Inference via On-the-Fly Attention Sparsification

  • 类型:arxiv
  • 标识:2607.24027
  • 链接:https://arxiv.org/abs/2607.24027
  • 主分类:multimodal
  • 形态:method
  • 被引:2
  • 被引来源:Semantic Scholar
  • S2被引:2
  • OpenAlex被引:0
  • 影响力被引:0
  • TLDR:This paper introduces training-free Sol-Attn (Sparsifying online attention), which unifies dynamic routing, sparse computation, and approximation correction in a single online-softmax pass, achieving a better accuracy-efficiency trade-off in sparse attention.
  • OpenAlex ID:W7171533522
  • OpenAlex DOI:10.48550/arxiv.2607.24027
  • DOI:10.48550/arxiv.2607.24027
  • DOI来源:OpenAlex
  • 开放获取:green
  • 开放获取链接:https://doi.org/10.48550/arxiv.2607.24027
  • OpenAlex更新:2026-08-25
  • 副分类:llm-infra
  • 待LLM分类:否
  • 标题中文:Sol-Attn:通过即时注意力稀疏化加速视频生成推理
  • TLDR中文:本文提出无需训练的 Sol-Attn(Sparsifying online attention),在单次 online-softmax pass 中统一动态路由、稀疏计算与近似修正,在稀疏注意力中取得更好的精度–效率权衡。
  • 来源文件
  • /inbox/tom/_candidates/2026-07-28-agent-rag-longcontext-candidates.json
  • [S2 enrich]
  • [OpenAlex backfill]