Thinking Machines 发布端到端 4-bit 训练:NVFP4 比 BF16 快 6 倍
rohanpaul_ai · x · 2026-11-14
Thinking Machines Lab 发布技术文章《End-to-End 4-Bit Training》,由 Jack Cook 与团队撰写,探讨如何在低精度训练中平衡速度与精度。
核心思路
- 低精度(如 4-bit)能减少显存占用、加速计算,但量化误差会在多层与多步优化中累积,损害学习效果。
- 团队在训练中组合使用三种数值格式:BF16、MXFP8 和 NVFP4。
硬件收益
- 训练平台为 NVIDIA Grace Blackwell Ultra(GB300),专门优化 NVFP4 矩阵乘法。
- NVFP4 存储位数比 BF16 少 3.6 倍,在 GB300 上最快可跑出 6 倍速度:NVFP4 约 15 PFLOPS、MXFP8 约 5.5、BF16 约 2.5。
文章尚未展示完整结论(链接被截断),但这是业界少数公开讨论端到端 4-bit 训练实践的内容,对训练成本与 scaling 有直接参考价值。
所属事件:Thinking Machines 详解 Inkling 2 Small 全程原生 4-bit 训练(7 条相关)→
「Infra」频道最新
- Airtel 董事长盛赞 Starlink V3：单次发射 1Tbps 挑战物理极限 — elonmusk · 2026-11-14
- 开发者因 Cloudflare 的 MCP 体验全面迁移域名、存储与邮件服务 — ritakozlov · 2026-11-14
- Brave Leo 用 TEE 实现可验证加密推理，直指 ZDR 只是空头承诺 — gnukeith · 2026-11-14
- 实测 2050 亿 token 账单：缓存读取占 97% 用量、缓存写入吞三成成本 — Nitjsefnie · 2026-11-14
- Cloudflare workerd 集群落地 KV、Queues 与 Workflows，首发版本临近 — irvinebroque · 2026-11-14
- GS Caltex 用 SageMaker Canvas+Pipelines 把模型部署从一周缩到几小时 — AWS ML Blog · 2026-11-14