网友单卡 B200 复现 4-bit 前向训练:3.3B 模型提速 38%,损失不变
OtherRaisin3426 · reddit · 2026-11-17
Thinking Machines 上周称 Inkling 2 Small 用原生 4-bit 前向传播训练,一位 Reddit 网友在单张 B200(Modal)上独立复现验证:前向用 NVFP4(每 16 个值一个 scale),反向用 FP8 加随机舍入,主权重保持高精度,训练了 219M/840M/3.3B 三个 GPT。
关键结果:
- 4-bit 训练确实更快:840M 模型 2000 步从 BF16 的约 5.5 分钟降到约 4.3 分钟;模型越大收益越大——219M 提速 18%,840M 28%,3.3B 38%。
- 学习效果相当:两种精度最终验证损失均为约 1.69(1.688 vs 1.691),差异属噪声。
- 踩坑记录:Blackwell 的 convert 指令对平局舍入为零向而非偶向,破坏逐位对比;PyTorch 的 attention 反向不可逐位复现,跨 run 梯度对比测试须排除 attention。
作者附完整数据写文、开源代码,以及 3 小时原理讲解视频。未测多卡、MoE dispatch 等场景。
「Infra」频道最新
- 印度主权 AI 实验室 Sarvam 被批靠中国开源模型做托管生意 — ayushthakur0 · 2026-11-17
- Nvidia 将 Megaspeed 列入禁售名单,此前美方正调查其销售记录 — Polymarket · 2026-11-17
- NVIDIA 开源 cuPotential:分子动力学非键相互作用计算最高提速 3 倍以上 — AllThingsApx · 2026-11-17
- Syzygy 称算力短缺是软件问题:压缩可让 GPU 利用率从 6% 到 90% — teortaxesTex · 2026-11-17
- 传黄仁勋考虑创办全新半导体公司,首日或募数百亿美元 — Redo · 2026-11-17
- 研究者点评 Together 的 Torch Compile 与 Megakernel 权衡研究 — simran_s_arora · 2026-11-17