Thinking Machines 揭秘 Inkling 2 Small 全程原生 4-bit 训练
thinkymachines · x · 2026-11-14
Thinking Machines Lab 在博客中详解了如何让 Inkling 2 Small 从预训练第一步到最后 RL rollout 全程使用原生 4-bit 前向计算。
核心矛盾：低比特训练更快、更省显存，但量化舍入误差会在层与优化步之间累积，干扰学习。
关键做法：训练在 NVIDIA Grace Blackwell Ultra（GB300）上进行，混合使用三种数值格式：
- NVFP4：每值约 4.5 bit，比 BF16 少存 3.6 倍 bit，在 GB300 上最高快 6 倍（15 vs 2.5 PFLOPS）
- MXFP8：8.25 bit，8.5 PFLOPS
- BF16：16 bit，2.5 PFLOPS
文章以「把莫奈画作量化成 16 色」类比量化误差的来源，并讨论在高吞吐推理与训练两种场景下速度与精度的不同权衡取向。
「Infra」频道最新
- 英伟达一周市值蒸发5730亿美元,超过万事达卡总市值 — Polymarket · 2026-11-14
- Dario Amodei:Anthropic 算力锁定仅 9000 亿,远少于对手 — rohanpaul_ai · 2026-11-14
- 从 Nvidia 拿过融资的创始人：它不是循环融资，是在补没人敢补的缺口 — williamfalcon · 2026-11-14
- Modular 联创 Chris Lattner 谈一套软件栈统管六种芯片架构 — samcharrington · 2026-11-14
- 美国国家科学院报告呼吁 NSF 共建主权开源科学 LLM — thoefler · 2026-11-14
- Tandem-vLLM 0.2.0:DeepSeek-V4.1-Flash 跑上 3090/4090 级消费卡,双卡加速 — smflx · 2026-11-14