Thinking Machines 详解 Inkling 2 原生 4-bit 全程训练
clarejtbirch · x · 2026-11-14
Thinking Machines 在博客 Connectionism 中详解其新模型 Inkling 2 Small 的训练方法：从预训练第一步到最终 RL rollout 全程采用原生 4-bit 前向传播（native 4-bit forward pass）。核心论点是：低比特训练确实更快，但量化误差会干扰学习，他们的方案让 4-bit 精度在整条训练管线中稳定工作。这是低比特训练方向少见的公开技术细节，由 Brendan 等人转发并称「终于有不需要模型的纯方法博客」。
所属事件:Thinking Machines 详解 Inkling 2 Small 全程原生 4-bit 训练(10 条相关)→
「模型」频道最新
- rasbt 绘制 Inkling 2 Small 架构图：594B 参数用注意力残差 — rasbt · 2026-11-14
- Sokoban 推箱子评测：66 关基准让大模型玩经典解谜游戏 — banteg · 2026-11-14
- On-policy蒸馏论文全能，实验室从业者却集体点赞吐槽帖 — teortaxesTex · 2026-11-14
- mitsuhiko:Anthropic 没做图像模型,Claude 写画画代码却惊人地好 — mitsuhiko · 2026-11-14
- Gemini 密集连发刷新前沿，作者看好未来六个月加速 — iruletheworldmo · 2026-11-14
- 谷歌高管确认 Gemini 4 预训练已启动：迄今最具雄心的一次 — Independent-Wind4462 · 2026-11-14