NanoGPT 速通纪录砍到 39.9 秒,单次进步超此前 45 项纪录总和
QuintinPope5 · x · 2026-09-29
Hyperstition 宣布将 NanoGPT(124M 参数)在 8×H100 上训练到目标验证损失 3.28(FineWeb)的时间从 73.889 秒降到 39.914 秒,按百分比降幅超过了此前 45 项世界纪录的总和。
三大关键改动:
- ANVIL II:算法级优化器改进,验证损失优于 Muon;扩展版宣称可削减预训练成本 62%
- Sampled softmax:大部分训练步骤中减少前后向传播需打分的词表元素
- 更大的稀疏 n-gram 表:赋予模型更多容量利用局部 token 模式
消融显示提速贡献:sampled softmax 8.41s、更大 n-gram 表 7.06s、ANVIL+平均化 5.09s、FP8 4.95s 等。面向前沿规模的方法细节因商业原因未公开。
Quintin Pope 评论:nanochat 与 modded-nanogpt 的速通近月来进展停滞,且作者未提及 autoresearch 参与——说明效率优化仍有很大空间,但 AI 自己并不擅长发现这些优化点。
所属事件:MIT 学生将 NanoGPT 训练纪录刷新至 39.9 秒(4 条相关)→
「Infra」频道最新
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16