NanoGPT 训练速度创 74.6 秒新纪录，前缀 token 预测立功

surmenok · x · 2026-08-03

Jan Varho 在 NanoGPT Speedrun 中创下 74.6 秒的新纪录，缩短了 0.8 秒。其核心创新在于引入了前缀 token 预测（Prefix token prediction）作为辅助损失。

具体机制是：如果目标 token 是“ bananas”，模型在早期训练阶段会对预测出“ banana”给予部分奖励。更一般地，该方法会对每个目标 token 的最长字节前缀对应的 token 计算辅助损失。实验表明，该机制可与现有的多 token 预测（MTP）叠加使用，从而有效减少训练步数与耗时。