VC-Attention 免重训实现 B200 上 1.6 倍注意力加速,直击视频生成 softmax 瓶颈
songhan_mit · x · 2026-09-17
MIT、CMU、UC Berkeley、Stanford 与 NVIDIA 研究者联合推出 VC-Attention，面向视频生成等场景的低比特注意力加速：
- 问题：低比特注意力对快速视频生成很有前景，但 softmax 仍是 B200/B300 上的主要瓶颈。
- ExpCast-FP8：用简单的线性映射到 FP8 码字，绕开销贵的指数运算和类型转换，加速 softmax。
- V-Smooth：降低 value 量化误差，保真度优于 SageAttention2。
在 MiniMax-H3 上，相比 BF16 FlashAttention-4 注意力提速 1.6 倍（B200）和 1.5 倍（B300）；专有扩展 Nunchux Attention 可达 1.9 倍/1.8 倍。无需重训，可与现有稀疏注意力方法叠加，让多模态推理更快更便宜。已发布博客与技术报告。
所属事件:VC-Attention：免重训低比特注意力加速视频生成(5 条相关)→
「Infra」频道最新
- Marvell 收购 Lumentum，被视为对标 Broadcom 的关键布局 — BenBajarin · 2026-11-02
- Altman：单次 AI 查询能耗 3-4 年降千倍至十万倍 — rohanpaul_ai · 2026-11-02
- Marvell 与 Lumentum 合并，瞄准 5500 亿美元 AI 连接市场 — BenBajarin · 2026-11-02
- 三星会长亲赴日本先进封装实验室,5 年投 400 亿日元扩研 — pstAsiatech · 2026-11-02
- Altman 亲赴韩国会晤三星高管,加码存储芯片与 AI 基建合作 — pstAsiatech · 2026-11-02
- 模拟 20 万个月数据：五套家用 AI 主机，仅一套亏钱 — LeviTurk · 2026-11-02