NVIDIA Sol-Attn 让视频生成端到端提速最高 5.08 倍
songhan_mit · x · 2026-07-28
Sol-Attn 用训练无关稀疏注意力，把视频生成加速到 5 倍
NVIDIA Research 发布 Sol-Attn，一种无需训练的稀疏注意力方法，目标是在尽量保持画质的前提下，加速预训练视觉生成模型。
- 方法把动态路由、稀疏计算和近似校正统一进一次 online-softmax 流程里。
- 通过在线块阈值筛选控制计算预算，并复用未选中块的 proxy score 来保留长尾贡献。
- 论文给出的端到端提速结果（相对 dense FlashAttention-3）：
- Wan 2.1-14B：2.02×
- HunyuanVideo-13B：2.12×
- LTX 2.3：最高 2.4×
- 接入 Sol-Engine（结合 kernel fusion 和 caching）后，速度提升进一步扩大：
- Wan 2.1-14B：3.48×
- HunyuanVideo-13B：5.08×
NVIDIA 表示这套能力已经可用，B200 kernel 还在继续优化。帖子同时给出了项目、论文和代码链接。
所属事件:NVIDIA 推出 Sol-Attn 视频生成加速技术(2 条相关)→
「多模态」频道最新
- 四款开源图像模型横评:Z-Image 拟真最强,Krea 2 擅插画 — Ok_Contribution8157 · 2026-10-16
- AI 动画短片:被困地穴遭遇加密货币老哥 — PolicemansBeard · 2026-10-16
- Reddit 网友发问:为何没有专为 24-32GB 显存设计的视频模型 — BreadUndPeeTears · 2026-10-16
- 用 3000 条真实发布片喂 Claude:作者做 MCP 告别千篇一律的 AI 生成视频 — Designer_Landscape25 · 2026-10-16
- Mirelo SFX V2.0 上线 fal：文/视频生成音效并保留对白 — gorkem · 2026-10-16
- Moss-Image 出图实测:胶片质感家庭聚餐照几乎可乱真 — AgeNo5351 · 2026-10-16