NanoGPT训练速通分享
willdepue · x · 2026-07-14
作者分享了一个完整的 NanoGPT speedrun，核心围绕训练与优化技巧展开。 引用内容里提到，这次过程比想象中更费功夫，过程中用到了 permutation trick；同时还提到 Muon 和 duality-based optimizers 的对抗，最终以这些优化技巧完成了挑战。
willdepue · x · 2026-07-14
作者分享了一个完整的 NanoGPT speedrun，核心围绕训练与优化技巧展开。 引用内容里提到，这次过程比想象中更费功夫，过程中用到了 permutation trick；同时还提到 Muon 和 duality-based optimizers 的对抗，最终以这些优化技巧完成了挑战。