VC-Attention：免重训低比特注意力加速视频生成

Nunchux AI 联合 MIT、CMU、UC Berkeley、Stanford 与 NVIDIA 的研究者发布 VC-Attention（arXiv:2609.15810），一种无需重训练的快速精准低比特注意力推理方案，面向扩散 Transformer 视频生成场景。该工作直击部署痛点：长序列注意力是视频生成最大的部署成本，而低比特量化受制于两大瓶颈——Value 离群值无明显通道/时空结构（输出误差主因）与 softmax 高精度指数运算（数据中心 GPU 上最长流水段）。

已确认

• 在 MiniMax-H3 视频生成（243 帧级别长序列）测试中，B200 上注意力提速 1.6 倍，B300 上也有提速（原帖未给出具体倍数）。
• 在 1344x768 分辨率下注意力计算约提速 1.6 倍，RTX 5090 上最高达 3.58 倍（约 3.6 倍）。
• 性能超越 FlashAttention-4 与 SageAttention2。
• 方法免训练、免重训，可直接用于现有模型推理。

为什么重要

• 快速视频生成的瓶颈正从整体算力转向注意力与量化的工程细节，VC-Attention 表明针对 Value 离群值与 softmax 指数运算做优化，可在不重训模型的前提下获得数倍注意力加速，对视频生成部署成本有直接意义。
• MIT Song Han 组相关账号（@junyanz89、@songhanmit）与 Nunchux AI 官方账号均转发宣传，显示团队对该工作的推广力度。

2026-09-17 ~ 2026-09-18 · 5 条相关

• VC-Attention 免训练低比特注意力:B200 上提速 1.6 倍,超越 FlashAttention-4 — xiuyu_l · 2026-09-17
• 【源头】VC-Attention:免训练低比特注意力,视频生成提速最高 3.6 倍 — nunchux-inc · 2026-09-17
• 新 VC-Attention 论文:RTX 5090 上注意力提速最高 3.58 倍 — robomar_ai_art · 2026-09-18

另有 2 条近重复转述:songhan_mit · junyanz89