AB-Attention 免训练稀疏注意力,视频生成最高提速 2.23 倍
bdsqlsz · x · 2026-11-02
多机构合作论文提出 AB-Attention(Accurate Block Attention),一种免训练的块稀疏注意力方法,用于加速视频扩散 Transformer 的 3D 全注意力推理。
- 效果:在 Wan2.1 与 HunyuanVideo 上跳过约 89-92% 的视频注意力计算,端到端最高提速 2.23 倍,PSNR 较最强稀疏基线最高高出 4.4 dB;速度在 NVIDIA H20 上测得。
- 思路:针对动态块稀疏注意力在激进稀疏度下保真度下降的问题——块重要性评分粗糙、被剪块从 softmax 中消失、整 tile 粗粒度保留/丢弃——提出 Intra-Block Clustering Selector(IBCS),仅在 query 块内部聚类来低成本且忠实地估计块重要性,并对选中块执行完整精确注意力。
- 性质:无需训练即可应用,代码即将开源。
「多模态」频道最新
- 网友晒「Rian Johnson 风格」AI 应用生成照片：电影感拉满 — threepointone · 2026-11-02
- 用 Seedance 2.5 生成催泪短片：逃出地堡却痛别挚友 — SimplyAnnisa · 2026-11-02
- Speridlabs 开源 Idol：单张图秒生成含背面的 3D 高斯泼溅 — pbaylies · 2026-11-02
- 无剪辑师:Claude Code 用真实录屏做出 54 秒 4K60 发布片 — No_Coast6186 · 2026-11-02
- 半透明 Canny 叠加:减少 Ref2V MM-H3 参考图串色 — Vortexneonlight · 2026-11-02
- 开源 AnyShot：Claude 智能体当摄影师，6小时渲染缩至3分钟 — Scobleizer · 2026-11-02