NanoGPT 速度跑新纪录 39.9 秒，快 46% 靠逐 flop 级优化
yacinelearning · x · 2026-09-29
modded-nanogpt 迎来新纪录：devenpzak（MIT 数学）把训练时间从 67.6 秒压到 39.9 秒，同硬件快 34 秒（-46%），PR #360 已合并并由四方独立复现。核心新范式是不再只优化 matmul 或加更强算子，而是在单个 flop 粒度做取舍——低价值计算直接跳过：
- 采样 softmax（约省 8 秒）：token 不在 batch 中出现时，按比例跳过其 lmhead 前向/反向；
- 稀疏值：只对 batch 中出现的 ngram embedding 执行 optimizer step，beta1 置零配合，beta2 延迟到该行再次被使用时回溯应用；
- 全栈 fp8、新 embedding 表、ANVIL2 等手段叠加。
「研究」频道最新
- Nature 调查:山寨科学院靠虚假头衔骗取顶尖学者,哥伦比亚教授中招 — yudapearl · 2026-09-29
- ParaSpeechCLAP 获 Interspeech 2026 最佳学生论文提名 — jessyjli · 2026-09-29
- AI物理建模重建常染色质结构，发现活性区域多位于表面 — anshulkundaje · 2026-09-29
- BOBseq 登 bioRxiv:条码测序让高通量转录组获得 RNA 异构体分辨率 — anshulkundaje · 2026-09-29
- Matryoshka 归因：回滚 1% 权重即可去除 Llama 大部分拒答行为 — aryaman2020 · 2026-09-29
- Romero 实验室用 AI 做出 Chat with PyMOL,可直接对话分子结构 — rbhar90 · 2026-09-29