Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers
Tianze Xia, Xiaoling Zhou, Ruya Lan, Yiqiao Liao, Chengru Song, Shiming Xiang
cs.CV
2026-10-21
ALLOT不训练、不改选块策略，离线按成片误差给每一层和每一步分配稀疏度，同耗时下Hunyuan上XAttention的PSNR提高11.8dB，另外九组设置全部不输各自的默认分配。
视频 Diffusion Transformer（DiT，用 Transformer 做扩散去噪）里，全量 3D attention 的开销随 token 数平方增长。单卡生成一条 Wan2.1-14B 的 720p、81 帧视频大约要一小时，attention 占端到端时间一半以上。
块稀疏注意力只算选中的 query–key 块。选哪些块、kernel 怎么跑，已有成套方法。没定好的是每一层、每一步留多少密度。手写规则多半是第一层保持稠密，或前 10%到30% 去噪步保持稠密。自动分配则靠注意力质量、Hellinger 距离（分布之间的一种差异）、单步输出误差。规则换模型或换选块策略就失效。这些局部量排出的敏感层，也和成片误差对不上，照着分配可以比均匀分配更差。
Wan2.1-14B 上，第 0 层单步误差是中位层的 154 倍，但按盖住 95% 注意力质量只排第 22/40。HunyuanVideo 最敏感的是第 1 层（中位数的 35 倍），注意力指标把它排到约第 47到49/60。
一个 cell 是一对（层，去噪步）。敏感度是把该 cell 稀疏到密度 b 之后，成片相对全稠密输出差多少。ALLOT（Allocating Layer-step Latency by Output Tests）不训练，也不改选块打分和 kernel，只产出一张密度表。
Cell probe 比较同一去噪步里的不同层。只稀疏第 ℓ 层，其余层保持稠密，在噪声水平 t 上前向一次，记录速度预测相对稠密模型的均方误差。材料是 4 条 OpenVid 视频、8 档密度、9 档噪声。层排序随选块策略变化，probe 在部署用的策略下测量。
轨迹增益比较不同的去噪步。50 步分成 10 个五步窗口，每次只把一个窗口里的所有层稀疏到 0.30，量成片像素 MSE。w(s) 等于该窗口的成片误差除以窗口内 probe 之和。单步误差看不到后续去噪的放大：Wan2.1-1.3B 上，首窗口对末窗口的成片 MSE 是 463 倍（PSNR 10.71 对 37.37），单步误差只差 6.4 倍；Wan2.2 上单步误差还会把首尾顺序反过来。估计敏感度就是 w(s) 乘上该层在该步噪声下的 probe。
延迟不按密度线性折算。r(b) 是稀疏 kernel 相对同形状稠密 FlashAttention 的墙钟比。只有低于交叉密度，稀疏才比稠密快，更密的格子直接标成稠密。拉格朗日松弛在预算内为每个 cell 选密度，预热步数和哪些层保持稠密都从解里出来。推理时所有 prompt 查同一张表：密度为 1 走稠密 attention，否则按原策略截断后再用原 kernel。换预算重解大约 4 秒（CPU）。测量大约每模型 6到23 GPU 时，Wan2.2 两个 expert 超过 30。跨输入排序稳定，Spearman 中位数约 0.80到1.00。
指标相对同 prompt、同 seed 的稠密视频，不是绝对画质。评测用 32 条 VBench 提示词。判定为赢，要配对 PSNR 的 95% 下界大于 0，并且平均 LPIPS 更低。VBench 不进裁决。
XAttention 只换分配，Wan2.1-1.3B，480p×81：
| 方法 | PSNR | LPIPS | 墙钟 |
| 默认阈值 | 18.14 | 0.268 | 148.7 秒，1.24× |
| HEART（EBC） | 19.43 | 0.221 | 151.7 秒 |
| FAST | 22.75 | 0.141 | 152.9 秒 |
| DFSAttn 式 | 24.86 | 0.107 | 151.3 秒 |
| ALLOT | 26.39 | 0.089 | 151.3 秒，1.21× |
与默认阈值对齐时间的另一档是 25.37 对 18.14，配对 +7.23 dB，32/32 条更高。上表这档，ALLOT 比 DFSAttn 式高 1.53 dB，比 Efficient-vDiT 的 19.08 高 7.31 dB。去掉轨迹增益后 PSNR 掉到 19.34（-7.05 dB），和只用单步误差的 DiTFastAttn 贪心（19.38）几乎一样。
HunyuanVideo、480p×129、XAttention：15.65 到 27.49 dB，配对 +11.84 dB。ALLOT 用 481.4 秒，默认 481.3 秒。
四条已发表管线、九组设置，六组判赢、三组判平。SpargeAttn 在 1.3B 480p 上 22.67 到 27.70 dB（+5.03）。HunyuanVideo 720p×129 的 SVOO：27.55 到 30.93 dB（+3.38），加速 1.75× 到 1.90×。平局包括 Hunyuan 的 Radial（28.08 降到 27.53），以及 1.3B 720p 上 PSNR 升、LPIPS 变差的 SVG2（24.25 到 25.60）和 SVOO（30.08 到 30.73）。
Mean-pooled top-k 相对前 15 步稠密：三个 Wan 模型配对 ΔPSNR 为 +6.40、+6.38、+6.50 dB（19.59→25.99、24.87→31.25、19.36→25.86）。加强基线再固定第 0 层并重搜预热后，还剩 +2.55、+0.76、+1.67 dB。80 张密度表上，估计排序对实测成片误差的 Kendall τ 为 0.83。
接进现有视频推理栈的，是这张分配表。XAttention、SpargeAttn、SVOO、SVG2、Radial 的打分和 kernel 留着，只改截断。多数管线加速比几乎不变，收益是更接近稠密成片。质量和速度一起动的，主要是 Hunyuan 的 SVOO。
前 30% 步稠密、后面密度锁在 0.30，这种形状求解表对不上。稠密保持最久的是开头几层和一部分更深的层，中间若干步逐渐变稀，换预算形状也变。步数 30、CFG（引导强度）7.5 或 Euler 采样器，不重测仍然胜过默认。换选块策略必须重测 probe：策略之间的层排序相关只有 0.48到0.83。
14B 相对加强基线只多 0.76 dB。敏感层一旦被手工规则盖住，剩下的是小步改进。XAttention 在 1.3B 和 Hunyuan 上不是这个量级。
标定是一次性的，但换策略就要重做 probe。可加、按层分开的估计，排序比数值可靠。只稀疏一层并跑完所有步时，最敏感层与最不敏感层的成片误差，1.3B 上预测差 9.3 倍、实测 4.8 倍，14B 上预测 146 倍、实测 7.7 倍。统一密度替换了按 head、按输入调阈值。SVOO 在 1.3B 720p 上，按 head 拆开比层内均分低 1.44 dB，所以这篇用均分。
Probe 在其他层全稠密时测量，部署时各层一起稀疏。修正系数在 Hunyuan 上 +0.46 dB，在 Wan2.1-1.3B 上掉 6.09 dB，全文因此不用。误差结构也进不了标量：同样能量换成随机符号或高斯噪声，伤害小得多。1.3B 首窗口 top-k 的成片 PSNR，真实稀疏是 10.71，随机符号 29.57，高斯 25.68。
保真度问的是像不像稠密输出。VBench 有升有降，幅度多半很小，1.3B 720p 的 SVOO 从 72.12 到 71.45，裁决不看它。样本是 32 条提示词，14B 的 top-k 只有 16 条。把阈值改成密度截断本身不中性，SVOO 在 1.3B 480p×33 上会掉 3.00 dB。九组里 Hunyuan 的 Radial，PSNR 均值是下降的，按区间规则仍记为平局。