网友单卡 B200 复现 4-bit 前向训练:3.3B 模型提速 38%,损失不变

OtherRaisin3426 · reddit · 2026-11-17

Thinking Machines 上周称 Inkling 2 Small 用原生 4-bit 前向传播训练,一位 Reddit 网友在单张 B200(Modal)上独立复现验证:前向用 NVFP4(每 16 个值一个 scale),反向用 FP8 加随机舍入,主权重保持高精度,训练了 219M/840M/3.3B 三个 GPT。

关键结果:

作者附完整数据写文、开源代码,以及 3 小时原理讲解视频。未测多卡、MoE dispatch 等场景。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →