FVAttn 让视频生成负载更均衡，注意力提速 4.41 倍
Hao Liu · hf · 2026-07-23
FVAttn 提出了一套用于视频生成的免训练稀疏注意力系统，目标是解决多 GPU 序列并行下自适应 Top-p 路由带来的负载不均衡问题。
核心做法
- 采用 Top-p 路由 + Top-k 安全底线，并结合视频感知的 block 组织方式。
- 在运行时修正稀疏 mask，并通过 P2P 通信迁移“重头”，缩短关键路径。
- 用 Slack-Aware Sparse Augmentation 把空闲算力填到非关键 rank 上。
实验结果
- 在 step-distilled Wan2.2 I2V 上，平均负载不均衡从 1.34 降到 1.08。
- 注意力部分相对 FlashAttention 获得 4.41 倍加速。
- 端到端 DiT 推理速度提升 2.02–2.11 倍，同时保持了有竞争力的视频质量。
「多模态」频道最新
- Hailuo 转推：MiniMax H3 MAX 一发生成 15 秒美食动画短片 — Hailuo_AI · 2026-09-11
- 开发者用 GPT-6 Astra 搭配 Hyper3D Rodin 做出交互式 3D 产品展示 — nikola_mr64990 · 2026-09-11
- 用 MiniMax H3 MAX 对一只蚊子放大招,蚊子毫发无伤 — Hailuo_AI · 2026-09-11
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- AI 电影节 Lumara 将登陆纽约,顶级 AI 电影人齐聚评审 — 0xAllen_ · 2026-09-11
- 翼龙侦探:全程 AI 生成的概念片先导预告亮相 — PterodactylDetective · 2026-09-11