MIT 学生将 NanoGPT 训练纪录刷新至 39.9 秒
Hyperstition 实验室、MIT 数学系的 Deven Pietrzak 在 modded-nanogpt 项目上创下新纪录:将 124M 参数的 NanoGPT 在 8×H100 上训练至目标验证损失 3.28(FineWeb)的时间从 73.889 秒压缩到 39.914 秒,提速约 46%,单次进步超过此前 45 项纪录的总和。相关 PR #360 已合并,优化依靠逐 flop 级别的精细调整。
2026-09-29 ~ 2026-09-29 · 4 条相关
- NanoGPT 速度跑新纪录 39.9 秒,快 46% 靠逐 flop 级优化 — yacinelearning · 2026-09-29
- 39.9 秒训完 NanoGPT,新纪录一次性砍掉 46% 训练时间 — cephaloform · 2026-09-29
- NanoGPT 速通纪录砍到 39.9 秒,单次进步超此前 45 项纪录总和 — QuintinPope5 · 2026-09-29
另有 1 条近重复转述:ziv_ravid