Inkling 2 Small:594B 模型全程 4-bit,68 小时练完

jonlachman · x · 2026-11-14

Thinking Machines 官方博客详述 Inkling 2 Small 的训练方法:594B 参数模型用 NVIDIA NVFP4 精度在 GB300 NVL72 机架上仅 68 小时完成预训练,从预训练第一步到最后 RL rollout 全程使用原生 4-bit 前向传播,是已知最大的端到端 4-bit 训练模型。官方称该配方在大规模任务上相比完整 MXFP8 训练带来 8% 预训练时钟加速和 20% RL 加速,且省去量化 checkpoint 的校准环节。低比特训练更快,但量化误差会干扰学习,文章详细解释了如何解决这一问题;NVIDIA AI 官方转发致贺。