VC-Attention 免训练低比特注意力:B200 上提速 1.6 倍,超越 FlashAttention-4
xiuyu_l · x · 2026-09-17
Nunchux AI 联合 MIT、CMU、UC Berkeley、Stanford 与 NVIDIA 研究者发布 VC-Attention：无需重训练的快速精准低比特注意力推理方案。
核心数据（在 MiniMax-H3 视频生成、243 帧 1344×768 负载下，相对 BF16 FlashAttention-4）：
- VC-Attention：B200 提速 1.59×，B300 提速 1.51×
- 专有扩展 Nunchux Attention：B200 达 1.91×，B300 达 1.83×
- 保真度优于 SageAttention2：100 个 prompt 平均 PSNR 20.2 dB vs 19.9 dB
两项关键创新：
- V-Smooth：降低 value 量化误差（按部署调度在前 1/4 去噪步开启）
- ExpCast-FP8：加速 softmax
方案兼容现有稀疏注意力方法，团队定位是多模态/世界模型推理加速——对视频生成而言注意力是最重的算子。附博客与技术报告。
所属事件:VC-Attention：免重训低比特注意力加速视频生成(5 条相关)→
「Infra」频道最新
- 三星会长亲赴日本先进封装实验室,5 年投 400 亿日元扩研 — pstAsiatech · 2026-11-02
- Altman 亲赴韩国会晤三星高管,加码存储芯片与 AI 基建合作 — pstAsiatech · 2026-11-02
- 模拟 20 万个月数据：五套家用 AI 主机，仅一套亏钱 — LeviTurk · 2026-11-02
- 印度 AI 算力公司拟融资 30 亿美元,采购英伟达下一代芯片 — pstAsiatech · 2026-11-02
- 长鑫存储季度营收暴增七倍,国产存储乘 AI 东风 — pstAsiatech · 2026-11-02
- Tailscale 成众多创业公司单点故障，被巨头收购引发热议 — TheZachMueller · 2026-11-02