39.9 秒训完 NanoGPT,新纪录一次性砍掉 46% 训练时间
cephaloform · x · 2026-09-29
Hyperstition 实验室的 Deven Pietrzak(MIT 数学系)在 modded-nanogpt 项目上创下 NanoGPT 训练新纪录:39.9 秒(0.665 分钟),并称按训练时间降幅计算,这一进步超过此前 45 项世界纪录的总和。该 PR(#360)已被合并,纪录在 5 天内完成,并由四个独立来源复现验证。关键技术点包括:
- ANVIL2 优化方法
- Sampled-softmax(采样 softmax)
- 新的 embedding table 设计
- 全栈 fp8 混合精度
相比此前纪录在相同硬件上削减了 34 秒、约 46% 的训练时间。详细方法见作者发布的技术解析。
所属事件:MIT 学生将 NanoGPT 训练纪录刷新至 39.9 秒(4 条相关)→
「Infra」频道最新
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16