NanoGPT 训练速度创 74.6 秒新纪录，前缀 token 预测立功
surmenok · x · 2026-08-03
Jan Varho 在 NanoGPT Speedrun 中创下 74.6 秒的新纪录，缩短了 0.8 秒。其核心创新在于引入了前缀 token 预测（Prefix token prediction）作为辅助损失。
具体机制是：如果目标 token 是“ bananas”，模型在早期训练阶段会对预测出“ banana”给予部分奖励。更一般地，该方法会对每个目标 token 的最长字节前缀对应的 token 计算辅助损失。实验表明，该机制可与现有的多 token 预测（MTP）叠加使用，从而有效减少训练步数与耗时。
所属事件:NanoGPT 训练跑分连破纪录，最快仅需 74.6 秒(2 条相关)→
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16