AB-Attention：免训练块稀疏注意力加速视频扩散 Transformer，高稀疏度下保真

Bin Xu · hf · 2026-10-30

来自港中深、山东大学、东京大学、复旦、UC Berkeley、港科大与新加坡国立的多机构团队提出 AB-Attention，一种免训练方法，用高稀疏度精确逼近视频扩散 Transformer 的稠密 3D 注意力，降低推理中占主导的二次方注意力成本。

针对动态块稀疏注意力在激进稀疏度下保真度下降的问题（块打分过于粗糙、全局聚类开销大、被剪块从 softmax 消失、整块保留/丢弃粒度过粗），其 Intra-Block Clustering Selector（IBCS）只在每个 query 块内部对 query 聚类来廉价且忠实地估计块重要性、无需重排 token，配合加权采样与细粒度 kernel 聚合提升速度与保真。