NanoGPT 训练提速新纪录:FP8 优化突破 73.8 秒
kellerjordan0 · x · 2026-08-10
NanoGPT Speedrun 挑战赛再次刷新世界纪录，训练时间缩短 0.8 秒降至 73.8 秒。
本次提速主要得益于开发者在 MLP 下投影的前向传播中引入了极其复杂的 FP8 实现。该优化包含约 280 行代码，核心改进包括：
- 将激活量化步骤整合进先前的 kernel 中。
- 采用延迟 amax 缩放（delayed amax scaling）。
- 将权重量化与转置操作融合。
反向传播目前仍沿用原有的 BF16 激活值与权重。
「Infra」频道最新
- 硅基芯片的终结？CVD金刚石晶圆算力跃升数十倍 — nptacek · 2026-08-10
- 揭秘先进 AI 芯片背后的隐形瓶颈：TRUMPF 激光设备 — JosephJacks_ · 2026-08-10
- RTX PRO 6000 跑 MiniMax H3：七大加速方案实测提速超 50% — WhoopJack · 2026-08-10
- MiniMax-H3 低显存优化方案：省下 10GB+ 显存告别爆内存 — Annual_Mess_1839 · 2026-08-10
- 智能体与模型可分离部署：树莓派也能跑 Agent — max_paperclips · 2026-08-10
- GitHub Models 已停服：免费 Token 或因编程智能体成本过高被弃 — Simon Willison · 2026-08-10