MIT 学生将 NanoGPT 训练纪录刷新至 39.9 秒

Hyperstition 实验室、MIT 数学系的 Deven Pietrzak 在 modded-nanogpt 项目上创下新纪录:将 124M 参数的 NanoGPT 在 8×H100 上训练至目标验证损失 3.28(FineWeb)的时间从 73.889 秒压缩到 39.914 秒,提速约 46%,单次进步超过此前 45 项纪录的总和。相关 PR #360 已合并,优化依靠逐 flop 级别的精细调整。

2026-09-29 ~ 2026-09-29 · 4 条相关

另有 1 条近重复转述:ziv_ravid