NanoGPT 速通纪录砍到 39.9 秒,单次进步超此前 45 项纪录总和

QuintinPope5 · x · 2026-09-29

Hyperstition 宣布将 NanoGPT(124M 参数)在 8×H100 上训练到目标验证损失 3.28(FineWeb)的时间从 73.889 秒降到 39.914 秒,按百分比降幅超过了此前 45 项世界纪录的总和。

三大关键改动:

消融显示提速贡献:sampled softmax 8.41s、更大 n-gram 表 7.06s、ANVIL+平均化 5.09s、FP8 4.95s 等。面向前沿规模的方法细节因商业原因未公开。

Quintin Pope 评论:nanochat 与 modded-nanogpt 的速通近月来进展停滞,且作者未提及 autoresearch 参与——说明效率优化仍有很大空间,但 AI 自己并不擅长发现这些优化点。

所属事件:MIT 学生将 NanoGPT 训练纪录刷新至 39.9 秒(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →