Thinking Machines 详解 Inkling 2 Small 全程原生 4-bit 训练
Thinking Machines Lab 发布技术博客《End-to-End 4-Bit Training》(由 Jack Cook 与团队撰写),首次系统揭秘 Inkling 2 Small 的低精度训练配方:从预训练第一步到最后 RL rollout,全程使用原生 4-bit 前向计算。这解决了低比特训练「更快更省显存但量化舍入误差伤精度」的核心矛盾。
已确认
- 前向专家层使用 NVFP4 精度,并配备专用 kernel;反向传播使用 MXFP8 精度,配合重量化与随机舍入。
- 博客配图显示,在大规模训练中该配方相比全 MXFP8 训练提供约 8% 的预训练时钟加速和 20% 的 RL 加速。
- 量化检查点在交付时无需校准。
- 配方借鉴多项已有工作:最后 16.6% 的层以更高精度计算(MXFP8 而非 BF16);激活量化采用 Four Over Six(4/6)技术在两个缩放因子间选择。
尚未确认
- @snowclipsed 对该配方是否在专家层使用 MXFP8 提出疑问,博客材料中未见明确回应。
为什么重要
- @snowclipsed 评价这一「前向 NVFP4、反向 MXFP8 加随机舍入」的决策与其他 NVFP4 方案相比是个小惊喜但非常合理,表明 4-bit 训练在工程上已可端到端落地。
- @rohanpaulai 指出低精度(如 4-bit)计算可比 BF16 快最多 6 倍,若该配方可复用,将显著降低大规模预训练与 RL 的算力成本。
2026-11-14 ~ 2026-11-14 · 5 条相关
一手来源
- Thinking Machines 揭秘 Inkling 2 Small 全程原生 4-bit 训练 — thinkymachines ·
- Thinking Machines 发布端到端 4-bit 训练:NVFP4 比 BF16 快 6 倍 — rohanpaul_ai ·
- 【源头】Thinking Machines 揭秘 Inkling 2 Small 全程原生 4-bit 训练 — thinkymachines · 2026-11-14
- Inkling 2 Small 训练决策：前向 NVFP4、反向 MXFP8 加随机舍入 — snowclipsed · 2026-11-14
- NVFP4 原生 4-bit 训练带来 8% 预训练与 20% RL 时钟加速 — snowclipsed · 2026-11-14
- Thinking Machines 公开 Inkling 2 Small 的 NVFP4 量化训练配方细节 — snowclipsed · 2026-11-14
- 【源头】Thinking Machines 发布端到端 4-bit 训练:NVFP4 比 BF16 快 6 倍 — rohanpaul_ai · 2026-11-14