Thinking Machines 公开 Inkling 2 Small 的 NVFP4 量化训练配方细节

snowclipsed · x · 2026-11-14

配图为 Thinking Machines 博客对 NVFP4 训练配方的说明：借鉴多项已有工作，最后 16.6% 的层以更高精度（MXFP8 而非 BF16）计算；激活量化采用 Four Over Six（4/6）技术在两个缩放因子间选择以降低量化误差，权重量化则不用 4/6。借鉴 Composer 2，权重用 per-expert outer scales、激活用 per-token outer scales，兼顾效率、batch 不变性并避免因果泄漏。该配方在 SFT 与 RL 全程未做改动；预训练 Inkling 2 Small 约损失 2% 计算效率换取 NVFP4 加速，RL 阶段则获得显著端到端加速且 reward 无可察觉差异。