NanoGPT speedrun 刷新纪录：速度提升 11.3%，论文即将发布
yoavartzi · x · 2026-10-06
NanoGPT speedrun 项目创下（待确认的）新纪录，训练时间较此前最佳提升 11.3%。这是 2024 年 12 月以来最大的一次以架构为核心的改进，且没有借助额外的 n-gram 技巧或更多 CPU 算力。作者表示论文即将发布，并调侃在 COLM 会议上可以给大家看手机上的 PDF。
「Infra」频道最新
- Reflection 发布 501B 开源权重模型 Beam:23.8 万亿 token 预训练+亿级 rollout 强化学习 — gethackteam · 2026-10-06
- Reflection 披露 Beam 训练效率:MFU 约 19%,四周内 goodput 冲到 92% — alexpolozov · 2026-10-06
- SGLang 合入 layer_boundary:跨模型复用 TP/DP/CP 通信语义 — BanghuaZ · 2026-10-06
- 拆解 ChatGPT 式架构:从请求到流式响应的九个环节 — jawadhamza · 2026-10-06
- SGLang Summit 2026 议程公布:Intel、OpenAI、NVIDIA 高管齐聚 — BanghuaZ · 2026-10-06
- M5 Ultra 对决双 DGX Spark:本地跑大模型硬件实测 — kaggie · 2026-10-06