Thinking Machines 详解 Inkling 2 全程原生 4-bit 训练，GB300 上快至 6 倍
clarejtbirch · x · 2026-11-14
Thinking Machines Lab 发布博文《End-to-End 4-Bit Training》，详述其 Inkling 2 Small 模型从预训练第一步到最后 RL rollout 全程使用原生 4-bit 前向传播训练。
核心内容：
- 低精度训练的中央矛盾：更少比特带来更快算术，但舍入引入的量化误差会在层与优化步之间累积，干扰学习。
- 团队在训练中组合使用三种数值格式：BF16、MXFP8、NVFP4。NVFP4 存储比特数比 BF16 少 3.6 倍，在 NVIDIA GB300（Grace Blackwell Ultra）上矩阵乘法最高快 6 倍（NVFP4 约 15 PFLOPS vs BF16 约 2.5 PFLOPS）。
- 文章讨论了如何在保持训练稳定性的同时吃满 NVFP4 的速度红利，这是把 4-bit 加速从推理场景推进到训练全程的实践分享。
所属事件:Thinking Machines 详解 Inkling 2 Small 全程原生 4-bit 训练(10 条相关)→
「Infra」频道最新
- 曝英伟达与台积电合作近 30 年从未签正式法律合同 — IgorCarron · 2026-11-14
- SemiAnalysis：SpaceX 孟菲斯数据中心 2026 年底将达 2.4GW — mark_k · 2026-11-14
- SemiAnalysis:风投将重金挖角英伟达高管,人才流失或成隐忧 — elonmusk · 2026-11-14
- 特斯拉 Optimus 加 Starlink：偏远场景机器人不必等完全自动驾驶 — jeasinema · 2026-11-14
- 双 RTX 2060 老显卡跑 AI:渲染 15 秒视频要 2.5 小时 — DevGnoll · 2026-11-14
- 有人真的在用 DGX Station B300 跑本地 LLM 吗？求实测速度 — spaham · 2026-11-14