FVAttn 让视频生成负载更均衡，注意力提速 4.41 倍
Hao Liu · hf · 2026-07-23
FVAttn 提出了一套用于视频生成的免训练稀疏注意力系统，目标是解决多 GPU 序列并行下自适应 Top-p 路由带来的负载不均衡问题。
核心做法
- 采用 Top-p 路由 + Top-k 安全底线，并结合视频感知的 block 组织方式。
- 在运行时修正稀疏 mask，并通过 P2P 通信迁移“重头”，缩短关键路径。
- 用 Slack-Aware Sparse Augmentation 把空闲算力填到非关键 rank 上。
实验结果
- 在 step-distilled Wan2.2 I2V 上，平均负载不均衡从 1.34 降到 1.08。
- 注意力部分相对 FlashAttention 获得 4.41 倍加速。
- 端到端 DiT 推理速度提升 2.02–2.11 倍，同时保持了有竞争力的视频质量。
「多模态」频道最新
- Reddit 讨论：Hunyuan Image 3.0 Instruct 值不值 170GB 显存 — dtdisapointingresult · 2026-07-23
- CoLT 让多模态模型用隐变量思考，推理提速 10.1 倍 — jiqizhixin · 2026-07-23
- ComfyUI 出现开源 TTS 和声音克隆工作流 — Goble4 · 2026-07-23
- AI 生成短剧应用已占美国娱乐榜前 50 的 12 席 — deedydas · 2026-07-23
- VidBoards 把 AI 图片和视频对比做成了开源画布应用 — shangTsungTeaMaster · 2026-07-23
- K3 被指在多项基准上胜过 GPT-5.6 和 Fable 5 — yihui_indie · 2026-07-23