测LLM训练直觉:预测哪种优化器组合测试损失最低

ZimingLiu11 · x · 2026-10-24

MetaCircle AI 研究展览 Day 1 发布「Architecture IQ」基准：每道题给出一组合成数据集与三种训练方案(模型/优化器/超参数组合)，让被测模型预测哪种配置测试损失最低，任务覆盖回归、分类和 next-token prediction。

配图示例显示，模型 fable 面对三组相同 MLP 架构、仅优化器与超参不同的选项，准确推理出 Adagrad 的累积分母导致有效步长衰减(近似冻结)、而 RMSprop 的 EMA 保持有效步长恒定，从而选对答案 B(最终 MSE 0.004)。论文、代码与在线试玩均已公开。