Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models
Pardis Taghavi, Reza Langari, Gaurav Pandey
cs.CV, cs.AI, cs.LG
2026-08-19
Texas A&M提出训练免SparsePR：响应耦合分区加64行探针残差拟合。四款视频生成与世界模型上，22%–26%执行对密度对齐稠密指标，端到端加速1.48×–2.61×。
视频 DiT 和世界模型的时空 token 又长又密，二次注意力是高分辨率、长时长推理的主瓶颈。训练免的块稀疏注意力已经能利用时空结构、在线挑重要块、把 token 排成可执行布局，或近似被跳过的交互。单行注意力很集中，推不出一组 query 共享一条块路由时支撑仍然集中。
Wan2.2 上，单条 query 只要中位数 6.2% 的 key 就能保住 90% 注意力质量；八条 query 共用一条路由时，并集涨到 22.9%。Cosmos-Predict2.5 单行中位数已经要 56.5%，共享后到 77.7%。HunyuanVideo 两头都稀。共享路由变密，既可能来自组内支撑对不齐，也可能来自单行本来就密。
硬丢弃再重归一化之后，残差等于丢掉的质量乘上「丢掉支撑上的输出」和稀疏输出的差。质量接近，不约束后一项。Cosmos3-Nano 在稀疏运行里对这件事更敏感。分区几何还会改变「剩下的残差有多少能写成稀疏输出的仿射函数」。可执行的块稀疏算子要同时管共享支撑和被跳过交互留下的残差。
SparsePR 来自 Texas A&M，训练免、在线、不离线拟合。两块拼在一次注意力调用上。
响应耦合分区先抽一批当前调用的 query，用它们对 key 的预 softmax 响应定义距离：响应曲线像的 key 进同一组，value 跟着配对的 key。这些 key 组在原空间的质心再定义 query 坐标，响应方向像的 query 共享一条路由。一次非对称走完，不做 query 与 key 来回交替聚类。特征秩 rK=48、rQ=64。激活空间靠近不保证路由行为靠近，用当前调用的响应几何分组，共享路由时支撑更叠得住，残差也更像稀疏输出的仿射函数。相对语义分区的 oracle 诊断里，仿射可解释比例提高 3.2 到 14.9 个百分点，仿射正交能量降到 0.285×–0.653×。
探针拟合残差重建每个 query 头抽 M=64 行，对全部 key 做精确注意力，得到 R = Odense − Osparse。带组覆盖权重的岭回归（λ=0.1）把残差拟合成稀疏输出的仿射函数，再把特征相关修正投影到探针残差里观测到的 r=16 维输出子空间。探针按 query 组分层、沿组内质心径向顺序抽取。64 行相对序列长度只占 0.054%–0.145% 的 pair。它不假设整张残差矩阵全局低秩，只限制外推方向。
执行时把 Q、K、V 排成组主序，选中的 cell 交给 FlashInfer 变长块稀疏核精确计算，并在保留的 K/V 组上重归一化。Grouped-query attention 下 K/V 分区和路由在关联 query 头之间共享。总执行对密度 ρexec = 路由密度 + M/Nq，路由器会先扣掉探针成本。HunyuanVideo、Wan2.2、Cosmos-Predict2.5 目标 22%，Cosmos3-Nano 26%。整块 cell 不可拆，实现密度会略偏目标，论文报的是实现值。计时包含分区、路由、排列、稀疏核、探针、拟合和写回。
全部实验 BF16、单卡 NVIDIA H100、720p。稠密与稀疏共用同一套条件、种子、采样步数、guidance、分辨率和帧数。
| 模型 | 方法 | PSNR↑ | ImgQual↑ | SubCons↑ | 密度 | 加速 |
| HunyuanVideo-13B | Dense | - | 0.850 | 0.976 | 100% | 1.00× |
| HunyuanVideo-13B | SVG2† | 30.452 | 0.852 | 0.927 | 25.45% | 2.30× |
| HunyuanVideo-13B | SVG-EAR† | 31.043 | 0.845 | 0.903 | 22.17% | 1.93× |
| HunyuanVideo-13B | SparsePR | 31.844 | 0.850 | 0.976 | 21.92% | 2.61× |
| Wan2.2-I2V-A14B | Dense | - | 0.689 | 0.974 | 100% | 1.00× |
| Wan2.2-I2V-A14B | SparsePR | 30.658 | 0.687 | 0.973 | 21.97% | 1.80× |
| Cosmos-Predict2.5 | Dense | - | 0.714 | 0.976 | 100% | 1.00× |
| Cosmos-Predict2.5 | SparsePR | 26.328 | 0.714 | 0.976 | 22.14% | 1.51× |
| Cosmos3-Nano | Dense | - | 0.700 | 0.950 | 100% | 1.00× |
| Cosmos3-Nano | SparsePR | 24.417 | 0.699 | 0.949 | 25.96% | 1.48× |
HunyuanVideo 上图像质量和主体一致性与稠密完全对齐，PSNR 31.844 高于 SVG-EAR 的 31.043，计算从 612.38 PFLOPs 降到 255.95，加速 2.61×。Wan2.2 稠密图像质量 0.689、主体 0.974，SparsePR 为 0.687 / 0.973，LPIPS 0.044，对照 SVG-EAR 的 0.093；整段生成 1650 秒降到 917 秒。世界模型加速更小：Cosmos-Predict2.5 上 SVG2 仅 1.24×、SVOO 1.03×，SparsePR 1.51×，PBench 77.75 对稠密 77.76。Cosmos3-Nano 要把密度提到 25.96% 才稳住，PBench 77.30 对 77.31，加速 1.48×。
消融把两块拆开。硬丢弃、只换分区，Hunyuan 均值/p99 误差从语义分区 0.0887 / 0.7136 降到响应耦合 0.0736 / 0.6967。加上探针修复后，语义分区到 0.0527 / 0.3562，完整 SparsePR 到 0.0330 / 0.2285。Cosmos-Predict2.5 硬丢弃均值约 0.76–0.79，探针后语义分区 0.2622，SparsePR 0.0954。探针拟合吃掉大部分误差，响应耦合分区让有限探针更好拟合。分层探针优于随机和均匀时空采样；岭回归再投影到探针残差子空间，比只做岭回归再降一点。
这是给已经训好的视频 DiT 和世界模型用的推理加速，不用重训、不用蒸馏。如果产线已经在跑 SVG2、SVG-EAR 这类训练免稀疏核，增量很具体：Hunyuan 上比 SVG2 更快（2.61× vs 2.30×），主体一致性从 0.927 拉回稠密的 0.976；世界模型上 SVOO 几乎加不动速（1.02×–1.03×），SparsePR 还能到 1.48×–1.51×。
记账方式老实。执行对密度把探针行算进去，时延把在线 k-means、排列和拟合算进去。Wan2.2 上探针拟合只占整段时延的 1.1%，保真度增量几乎是白给的开销。
单行本来就密的模型空间小。Cosmos-Predict2.5 中位数支撑 56.5%，加速只有 1.51×。这是推理系统上的渐进改进，不是新的生成范式。
正文没有独立局限节。仿射残差是当前调用上的经验局部模型，不保证丢掉的质量和丢掉支撑上的输出能被稀疏输出唯一确定。修正被限制在探针残差看见的输出方向，探针没覆盖到的方向不会被修。
四款模型加速差一倍有余：Hunyuan 2.61×，Cosmos3-Nano 1.48×。Cosmos3-Nano 的 LPIPS 仍是 0.176，Hunyuan 是 0.087，「对齐稠密」在世界模型侧主要是 VBench / PBench 分数贴住，帧级保真没有生成模型那么好看。
Hunyuan 和 Wan 表里 SpargeAttn、SVG2、SVOO、SVG-EAR 标了 †，数字来自先前工作；Cosmos 两款由作者按同一硬件和时序协议复现。SVOO 在 Wan 上图像质量 0.7337，高于稠密的 0.689，更像评测协议不一致，不宜直接当对照。实验固定单卡 H100、720p、FlashInfer 变长块核，更长视频、多卡和文本 Transformer 都没有测。