Inkling 2 Small 原生 4-bit 训练：发布与质疑

第 1 集 · Thinking Machines 详解 Inkling 2 Small 全程原生 4-bit 训练(2026-11-14,10 条)

Thinking Machines Lab 发布技术博客《End-to-End 4-Bit Training》(由 Jack Cook 与团队撰写),首次系统揭秘 Inkling 2 Small 的低精度训练配方:从预训练第一步到最后 RL rollout,全程使用原生 4-bit 前向计算。这解决了低比特训练「更快更省显存但量化舍入误差伤精度」的核心矛盾。

已确认

• 前向专家层使用 NVFP4 精度,并配备专用 kernel;反向传播使用 MXFP8 精度,配合重量化与随机舍入。
• 博客配图显示,在大规模训练中该配方相比全 MXFP8 训练提供约 8% 的预训练时钟加速和 20% 的 RL 加速。
• 量化检查点在交付时无需校准。
• 配方借鉴多项已有工作:最后 16.6% 的层以更高精度计算(MXFP8 而非 BF16);激活量化采用 Four Over Six(4/6)技术在两个缩放因子间选择。

尚未确认

• @snowclipsed 对该配方是否在专家层使用 MXFP8 提出疑问,博客材料中未见明确回应。

为什么重要

• @snowclipsed 评价这一「前向 NVFP4、反向 MXFP8 加随机舍入」的决策与其他 NVFP4 方案相比是个小惊喜但非常合理,表明 4-bit 训练在工程上已可端到端落地。
• @rohanpaulai 指出低精度(如 4-bit)计算可比 BF16 快最多 6 倍,若该配方可复用,将显著降低大规模预训练与 RL 的算力成本。

• Thinking Machines 揭秘 Inkling 2 Small 全程原生 4-bit 训练 — thinkymachines · 2026-11-14
• Inkling 2 Small 用 NVFP4 混合精度训练，速度精度兼得 — HanGuo97 · 2026-11-14
• Inkling 2 Small 训练决策：前向 NVFP4、反向 MXFP8 加随机舍入 — snowclipsed · 2026-11-14
• NVFP4 原生 4-bit 训练带来 8% 预训练与 20% RL 时钟加速 — snowclipsed · 2026-11-14
• Thinking Machines 详解 Inkling 2 全程原生 4-bit 训练，GB300 上快至 6 倍 — clarejtbirch · 2026-11-14
• Thinking Machines 详解端到端 4-bit 训练：NVFP4 比 BF16 快至 6 倍 — clarejtbirch · 2026-11-14
• Thinking Machines 公开 Inkling 2 Small 的 NVFP4 量化训练配方细节 — snowclipsed · 2026-11-14
• Thinking Machines 发布端到端 4-bit 训练:NVFP4 比 BF16 快 6 倍 — rohanpaul_ai · 2026-11-14
• Inkling 2 Small:594B 模型全程 4-bit,68 小时练完 — jonlachman · 2026-11-14
• Thinking Machines 详解 Inkling 2 原生 4-bit 全程训练 — clarejtbirch · 2026-11-14

第 2 集 · Inkling 2 Small 原生 4-bit 训练收益遭质疑(2026-11-14,2 条)

Inkling 2 Small 技术报告显示，该模型是目前已知最大的以原生 4-bit 前向传播完成端到端训练的模型，覆盖预训练到最终 RL 阶段。但 Andrew Carr 引用报告质疑其收益，指出预训练仅提速约 8%；前 Hugging Face 研究员 Nathan Lambert 也提出疑问，认为预训练阶段仅节省约 5 小时，为此付出的工程代价是否值得存疑。

• Inkling 2 Small 全程原生 4-bit 训练：预训练仅提速 8% 引质疑 — andrew_n_carr · 2026-11-14
• Nat Lambert 质疑：为预训练提速 5 小时值得这么大工程代价吗？ — natolambert · 2026-11-14