NanoGPT 训练跑分刷新纪录：新 Triton 算子提速至 75.4 秒
kellerjordan0 · x · 2026-08-02
NanoGPT Speedrun 挑战赛 Track 1 迎来新世界纪录，由 congml 和 Recursive 团队将时间缩短至 75.4 秒（提升 0.6 秒）。
核心优化在于重写了 ReLU^2 MLP 的 Triton 算子：在前向传播计算 relu(X@W1)^2@W2 时，原本需要同时保存 relu(X@W1) 及其平方值以供反向传播使用。新方案仅保留平方值，并在反向传播过程中通过融合 epilogue 动态重建所需数据，从而大幅减少了显存读写开销。
所属事件:NanoGPT 训练跑分连破纪录，最快仅需 74.6 秒(2 条相关)→
「研究」频道最新
- 伯克利团队用扩散模型直接采样机器人策略权重，Unitree G1 真机走跑起舞 — berkeley_ai · 2026-10-16
- HKU 等提出 OneWM：统一因果训练让世界模型与动作学习互相增益 — IAAI233 · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- 5.8M 参数语音事件检测器：为 Whisper 转录补上笑声呼吸与背景音 — Ayush Kumar Bar · 2026-10-16
- 华为等提出 SUPRA-Tex：单图生成可重打光 3D 材质，所见即所得 — Chen Yang · 2026-10-16
- RoboVista 机器人理解基准发布:Gemini-4 Argon 81.9% 登顶 — berkeley_ai · 2026-10-16