基于 nanochat 的自动科研预训练功能上线:可调度数千 GPU 并自动恢复

SeunghyunSEO7 · x · 2026-11-19

eliebakouch 发布新预训练功能:在 Karpathy 的 nanochat scaling ladder 之上做 autoresearch,少量节点即可跑 scaling 实验,也能将任务投放到数千块 GPU 并支持自动故障恢复。转发者 Seunghyun Seo 由此提出「scaling law 速通」的点子:不只比谁更快达到目标 loss,而是让参赛者提交各自的幂律拟合,比谁的曲线在更大算力下扩展得更好——配图展示 AdamW+Dense 与 Muon/Shampoo+Dense 等方法的示例对比,图中 Muon 与 Shampoo 达到目标 loss 的算力效率约为 AdamW 的 2 倍。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →