NanoGPT 训练纪录砍至 39.9 秒,降幅超此前 45 次纪录总和

ziv_ravid · x · 2026-09-29

Hyperstition 实验室的 Deven Pietrzak 将 NanoGPT speedrun 纪录从 73.889 秒刷新到 39.914 秒(124M 参数模型在 8×H100 上达到 FineWeb 验证损失 3.28)——按训练时间降幅计,这次改进超过此前 45 次世界纪录的总和。

三大核心改动:

文章给出了逐项消融的速度贡献分解:sampled softmax 贡献 8.41s,更大 n-gram 表 7.06s,ANVIL+averaging 5.09s,FP8 4.95s,更小模型 3.82s,CUDA graphs 2.99s 等。代码与测量开源在 NanoGPT 提交中;出于商业原因,可扩展到前沿规模的方法仅公开 ANVIL II(其扩展版号称可削减 62% 预训练成本)。

所属事件:MIT 学生将 NanoGPT 训练纪录刷新至 39.9 秒(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →