NanoGPT 训练纪录砍至 39.9 秒,降幅超此前 45 次纪录总和
ziv_ravid · x · 2026-09-29
Hyperstition 实验室的 Deven Pietrzak 将 NanoGPT speedrun 纪录从 73.889 秒刷新到 39.914 秒(124M 参数模型在 8×H100 上达到 FineWeb 验证损失 3.28)——按训练时间降幅计,这次改进超过此前 45 次世界纪录的总和。
三大核心改动:
- ANVIL II:对优化器的算法级改进,验证损失优于 Muon 变体
- Sampled softmax:在大部分训练步骤中减少前向/反向需打分的词表元素数量
- 更大的稀疏 n-gram 表:从 640M 扩到 65B(两个数量级),给模型更多容量利用局部 token 模式
文章给出了逐项消融的速度贡献分解:sampled softmax 贡献 8.41s,更大 n-gram 表 7.06s,ANVIL+averaging 5.09s,FP8 4.95s,更小模型 3.82s,CUDA graphs 2.99s 等。代码与测量开源在 NanoGPT 提交中;出于商业原因,可扩展到前沿规模的方法仅公开 ANVIL II(其扩展版号称可削减 62% 预训练成本)。
所属事件:MIT 学生将 NanoGPT 训练纪录刷新至 39.9 秒(4 条相关)→
「Infra」频道最新
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16