Thinking Machines Inkling 2 Small 训练消耗 12.55T tokens，RL 用掉超四分之一预训练算力
YouJiacheng · x · 2026-11-06
YouJiacheng 对 Thinking Machines（TML）Inkling 2 Small 训练详情算了一笔账：四阶段预训练合计 8.4T+3.8T+0.32T+0.034T≈12.55T tokens；主 RL run 用了 3T+ tokens，超过预训练算力的四分之一（此前估算约为 1/10）。
截图披露的训练细节：
- H1 阶段 8.4T tokens，覆盖自然语言、代码与图像混合数据，在 NVIDIA GB300 NVL72 机架上跑了 68 小时，原生使用 NVFP4 4-bit 浮点格式；
- H2 阶段 3.8T tokens 的更高质量新数据，512K 上下文；
- H3 约 320B tokens 的推理与智能体轨迹数据（1M 上下文），混入重放的预训练数据；
- H4 仅保留最高质量数据：约 34B tokens 的智能体轨迹，主要来自 Kimi K3 及其自家模型采样并经正确性过滤的轨迹。
「Infra」频道最新
- 传 ING 出售 5 亿美元数据中心贷款组合，据彭博报道 — apples_jimmy · 2026-11-06
- vLLM 团队创办的 Inferact 日服务 token 量突破 7 万亿 — woosuk_k · 2026-11-06
- 把闲置显卡显存当 swap 用：USM 比 NVMe 快约 7 倍 — kha333n · 2026-11-06
- 乌兰察布智算中心旁开商K，被称 AI 时代刚需生意 — basedjensen · 2026-11-06
- 马斯克称 SoftBank 正违约弃购燃气轮机订单 — SumitGup · 2026-11-06
- SpaceX 拟在亚利桑那建 6GW 数据中心：9 栋楼、零工业用水 — elonmusk · 2026-11-06