AI智能体自主编写Triton内核,打破 NanoGPT 训练速度记录

cong_ml · x · 2026-08-05

AI 智能体在 NanoGPT Speedrun 挑战中创下 75.4 秒的最新世界纪录。

该突破由 @congml 和 @RecursiveSI 合作实现。核心在于智能体自主找到了一种更优的解决方案:它编写了一个定制的 ReLU^2 MLP Triton 内核。在前向传播时,该方案仅保存 relu(X@W1)^2,而在反向传播时通过融合尾声重新构造 relu(X@W1),从而大幅节省了内存通信开销,将训练时间缩短了 0.6 秒。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →