NanoGPT 速度跑新纪录 39.9 秒,快 46% 靠逐 flop 级优化
yacinelearning · x · 2026-09-29
modded-nanogpt 迎来新纪录:devenpzak(MIT 数学)把训练时间从 67.6 秒压到 39.9 秒,同硬件快 34 秒(-46%),PR #360 已合并并由四方独立复现。核心新范式是不再只优化 matmul 或加更强算子,而是在单个 flop 粒度做取舍——低价值计算直接跳过:
- 采样 softmax(约省 8 秒):token 不在 batch 中出现时,按比例跳过其 lmhead 前向/反向;
- 稀疏值:只对 batch 中出现的 ngram embedding 执行 optimizer step,beta1 置零配合,beta2 延迟到该行再次被使用时回溯应用;
- 全栈 fp8、新 embedding 表、ANVIL2 等手段叠加。
所属事件:MIT 学生将 NanoGPT 训练纪录刷新至 39.9 秒(4 条相关)→
「研究」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- LatamGPT 开源 1.78 亿篇拉美多语言语料登陆 Hugging Face — OmarUFlorez · 2026-11-16
- TotalSegmentator 在常规胸 CT 中量出 42mm 扩张主动脉 — MaziyarPanahi · 2026-11-16
- Tivadar Danka 发布 4000 字图解机器学习所需图论长文 — TivadarDanka · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16