NVIDIA 用 Sol-Attn 将视频生成推理提速 2.1 倍
Haopeng Li · hf · 2026-07-28
NVIDIA 提出 Sol-Attn 加速视频生成推理
这篇论文针对扩散 Transformer 在高质量视频生成中的注意力瓶颈，提出训练免费方法 Sol-Attn（Sparsifying online attention）。它把动态路由、稀疏计算和近似修正合并到一次 online-softmax 过程中，减少长序列下注意力推理开销。
核心做法
- 用 在线块阈值筛选 代替固定 top-k 或累计概率质量路由。
- 通过复用 proxy score，避免显式 materialize 整张 proxy map。
- 不只是“丢掉”未选块，而是用 proxy score 近似它们的贡献，降低精度损失。
结果
- 在稀疏注意力上取得更好的质量/效率权衡。
- 视频生成端到端速度提升 2.1 倍。
- 视频编辑端到端速度提升 2.3 倍。
- 在图像和视频生成任务上都做了验证，并尽量保持视觉质量。
所属事件:NVIDIA 推出 Sol-Attn 视频生成加速技术(2 条相关)→
「多模态」频道最新
- Grok 被要求把 Wednesday 做成 Barbie 电影风 — heypearlai · 2026-07-28
- Grok把V照片改成维多利亚贵族风 — eyishazyer · 2026-07-28
- 帖子称 AI 正在实时替代光线追踪 — jongranskog · 2026-07-28
- Happy Horse 展示保留动作和微表情的视频编辑 — umesh_ai · 2026-07-28
- 一个 AI 视觉信息流想法：角色档案自动变成 ComfyUI 帖子 — tovarischsht · 2026-07-28
- 一张 AI 巧克力梗图，把节日问候做成了趣味分享 — LudovicCreator · 2026-07-28