NanoGPT 训练跑分刷新纪录：新 Triton 算子提速至 75.4 秒
kellerjordan0 · x · 2026-08-02
NanoGPT Speedrun 挑战赛 Track 1 迎来新世界纪录，由 congml 和 Recursive 团队将时间缩短至 75.4 秒（提升 0.6 秒）。
核心优化在于重写了 ReLU^2 MLP 的 Triton 算子：在前向传播计算 relu(X@W1)^2@W2 时，原本需要同时保存 relu(X@W1) 及其平方值以供反向传播使用。新方案仅保留平方值，并在反向传播过程中通过融合 epilogue 动态重建所需数据，从而大幅减少了显存读写开销。
所属事件:NanoGPT 训练跑分连破纪录，最快仅需 74.6 秒(2 条相关)→
「研究」频道最新
- AI 顶会同行评审机制受质疑：审稿人失联、外行指导内行 — RexDouglass · 2026-08-03
- 深入解析蛋白质语言模型：Raygun 背后的 AI 基础 — anshulkundaje · 2026-08-03
- AI 自我迭代闭环：构建下一代 AI 的将是上一代 AI — hamostaf04 · 2026-08-03
- NeurIPS 2026审稿：元审稿是否包含推荐决定？作者困惑 — CantKillTheLifeless · 2026-08-03
- 谷歌论文：安全微调抑制AI意识，同时削弱其类人价值观 — Promptmethus · 2026-08-03
- DeepSeek V4 Flash 的 KV Cache 量化质量显著下降 — erazortt · 2026-08-03