Thinking Machines 详解端到端 4-bit 训练：NVFP4 比 BF16 快至 6 倍
clarejtbirch · x · 2026-11-14
Thinking Machines 在博客 Connectionism 发布长文，详述 Inkling 2 Small 如何从预训练第一步到最后 RL rollout 全程使用原生 4-bit 前向传播训练。
核心挑战与方案：
- 低精度的权衡：更少的位数让 GPU 算得更快、省显存，但可表示的数更少，舍入的量化误差会在层间和优化步中累积，干扰学习。
- 三种数值格式：训练在 NVIDIA Grace Blackwell Ultra（GB300）上混合使用 BF16、MXFP8、NVFP4。NVFP4 存储比 BF16 少 3.6 倍位数，在 GB300 上矩阵乘最高快 6 倍（15 vs 2.5 PFLOPS）。
- NVFP4 加速在高吞吐推理中划算，但对训练精度影响更大，团队讲了如何管理这一权衡。
文章以莫奈画作量化为 16 色作类比解释量化误差，是一手训练工程复盘，对低精度训练实践有较高参考价值。
所属事件:Thinking Machines 详解 Inkling 2 Small 全程原生 4-bit 训练(10 条相关)→
「Infra」频道最新
- SemiAnalysis 称 Google TPU 夜间跑分已比肩 Nvidia,缺的是供应链手腕 — elonmusk · 2026-11-14
- 马斯克附和黄仁勋离任传闻：握手协议 deals 或将流失 — elonmusk · 2026-11-14
- 传黄仁勋离职后英伟达老员工或遭疯抢:多数已财务自由 — basedjensen · 2026-11-14
- 黄仁勋为 GPU 批次直电 TSMC 高层，网友热议组织转型隐忧 — IgorCarron · 2026-11-14
- 思科称迎 15 年最强营收增长，归因 agentic AI 算力需求 — Justgototheeffinmoon · 2026-11-14
- 曝英伟达与台积电合作近 30 年从未签正式法律合同 — IgorCarron · 2026-11-14