模型自发跑完机器学习实验,研究者感叹时代已变

teortaxesTex · x · 2026-11-16

teortaxesTex 感叹:现在向模型提问,它会主动去设计并运行一个机器学习实验,这仍让他感到震惊。

配图显示模型输出的实验分析相当扎实:作者用小规模幂律特征问题对比 SGD、Adam 与 Muon,发现优化器的收益只存在于瞬态阶段——病态问题(条件数 4096)上 Muon 初期领先 Adam 1.42.8 倍,进入噪声主导后优势消失甚至反转;并估算 AdamW 之上仍有约 24 倍理论空间,Muon 系已拿下 1.32 倍。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →