VC-Attention:免训练低比特注意力,视频生成提速最高 3.6 倍
nunchux-inc · hf · 2026-09-17
扩散 Transformer 的视频生成长序列让注意力成为部署最大成本,低比特量化又受两大瓶颈:Value 的离群值无明显通道/时空结构,是输出误差主因;softmax 的高精度指数运算成为数据中心 GPU 上最长流水段。VC-Attention 提出免训练方案:
- V-Smooth:用轻量在线聚类重排 value token,使同一硬件块内的 token 量化表现相近;只量化减去块均值后的残差,均值由在线 softmax 已维护的行和恢复
- ExpCast-FP8:用一次融合乘加把 log 域分数直接映射为 E4M3 概率码,消除 FP32 指数运算与格式转换
已在 B200、B300、H200、RTX PRO 6000、RTX 5090 上实现。在 Wan2.2、LongCat-Video、HunyuanVideo-1.5、MiniMax-H3 上:相比 BF16 FlashAttention-4,注意力核在数据中心 Blackwell/Hopper 上提速 1.46–1.59 倍,工作站卡上 2.3–3.6 倍;端到端整段生成分别提速 1.13–1.19 倍和 1.36–1.70 倍,同时保真度优于低比特基线。
所属事件:VC-Attention：免重训低比特注意力加速视频生成(5 条相关)→
「Infra」频道最新
- Marvell 收购 Lumentum，被视为对标 Broadcom 的关键布局 — BenBajarin · 2026-11-02
- Altman：单次 AI 查询能耗 3-4 年降千倍至十万倍 — rohanpaul_ai · 2026-11-02
- Marvell 与 Lumentum 合并，瞄准 5500 亿美元 AI 连接市场 — BenBajarin · 2026-11-02
- 三星会长亲赴日本先进封装实验室,5 年投 400 亿日元扩研 — pstAsiatech · 2026-11-02
- Altman 亲赴韩国会晤三星高管,加码存储芯片与 AI 基建合作 — pstAsiatech · 2026-11-02
- 模拟 20 万个月数据：五套家用 AI 主机，仅一套亏钱 — LeviTurk · 2026-11-02