CroissAttn 实现 Blackwell 上注意力 FP4 全程运算：Qwen3-8B 吞吐提升1.5倍
TristanThrush · x · 2026-11-07
Alex Rose Jones 介绍 CroissAttn：在 NVIDIA Blackwell 上，注意力全部六个 matmul 都能跑 FP4。在 128K 上下文下，Qwen3-8B 相比 BF16 获得 1.5× 吞吐、节省 55% GPU 显存。转发者 Anupama Dhar 补充：完全用 FP4 训练或 FP4 微调还能提升 FP4 推理的下游精度，即端到端低精度不会牺牲准确率。作者将在 Nebius Paper Club 分享技术细节。
「Infra」频道最新
- Reactor 创始人发「实时宣言」:实时 AI 将成基础设施级命题 — smtabatabaie · 2026-11-07
- Clairvoyance 新增 hivemind 功能,可与任何人共享 GPU — draginol · 2026-11-07
- 红杉 Maguire 推演：SpaceX 将吞下推理算力市场，Neocloud 苦撑至破产 — shaunmmaguire · 2026-11-07
- 马斯克预告明年公布 Starmind 电脑细节：称将令人震惊 — ns123abc · 2026-11-07
- Airbnb 微调 Gemma E2B:对标前沿模型质量,成本仅 1% — DynamicWebPaige · 2026-11-07
- 二手 A100 或将跌至千美元,GPU 需求松动迹象浮现 — Bascilian · 2026-11-07