ArchitectureIQ: On the Measure of Training Intuition
Zirui Ren, Shaoyang Guo, Chencheng Tang, Jinxin Wang, Chengyu Xiong, Shanbin Yu, Peihang Li, Yidi Wu, Bangzhe Huang, Qingyu Qu, Leqian Yang, Ziming Liu
cs.AI
2026-09-30
500道三选一合成实验里，前沿模型选出最优训练配方的准确率约76%（随机33%），十名研究者中最好的为66%；纯架构题人类65%，GPT-6 Astra仅38%。
实验还没跑，熟手往往已经把没希望的配置拿掉了。语言模型 agent 会改代码、跑实验、再根据日志改下一轮，MLAgentBench、MLE-bench、AI Scientist 量的是整条链。ArchitectureIQ 只量链的起点：一个数据集加几套训练配方，不许执行，选出测试指标最好的一套。
用公开数据出题，前沿模型可能在预训练里见过结论。这里的数据全部现场合成，生成代码和训练代码都在题面上。题面信息原则上决定结果。
路径是固定的。采样数据集规格，渲染成代码，先生成固定的训练和测试集，再从受控的模型、优化器、损失、batch 和训练预算里抽配方。每套配方都是可执行程序。用 10 个随机种子确认赢家稳定，单次运行不算数。
静态集 500 题，三选一，随机 33.3%，三类各占三分之一。只改优化器：架构相同，比学习率、动量、自适应方法和权重衰减。只改架构：优化器相同，比宽度、深度、归一化、残差和激活。混合题不加这道锁。
图 2 的一维回归把粒度摊开了。目标是 y = x² + cos(4x)，三套配方共用 4×128 的 ReLU MLP，参数量都是 66945，只换优化器、学习率和权重衰减。跑完后 RMSprop 的误差远低于两个 Adagrad。选对的关键是短程里的有效步长：学习率、动量和自适应分母合在一起，参数在给定步数里到底能挪多远。
后半段问这些判断能否压成短文本。Claude Opus 5 当求解器，提示里最多 20 条命题，可以引用旧的或新写一条，并把本题信用拆开，加总为 1。每个 epoch 并行解 50 道新题，执行结果就是奖励。选对，被点名的命题加权成功增加；选错，失败增加。轮次之间用 PUCT 挑下一批条目，兼顾眼下可信和验证次数还不够。PUCT 是树搜索里平衡利用和探索的一种分数。另一个模型合并重复，把过宽规则收成带条件的句子。共 8 个 epoch。
人类分数在 50 题子集上，模型总榜在 500 题上。
| 方法 | 指标 | 结果 |
| GPT-5.6 Sol | 500题总准确率 | 76.4% |
| Claude Opus 5 | 500题总准确率 | 76.0% |
| 最好的人类 | 50题子集 | 66.0% |
| 10人平均 | 50题子集 | 51.0% |
| 随机 | 三选一 | 33.3% |
| 领先模型 | 只改优化器 | 85%–87% |
| 领先模型 | 只改架构 | 58%–61% |
| 最好的人类 | 只改架构 | 65% |
| GPT-6 Astra | 只改架构 | 38% |
| 域内逻辑回归 | 87维特征 | 74.2% |
| 深度至多4的树 | 同上 | 61.8% |
| 有效学习率解析策略 | 分组留出 | 78.2% |
| GPT-4o 空库 | 50题 | 53.2% |
| GPT-4o 第8版 | 至多20条 | 67.6% |
同一组候选、只换数据集：赢家不变时准确率 81%–95%，赢家翻转时掉到 46%–50%。模型改口的题对只占 6%–23%。
子样本上，多给 10 个示例没有稳定收益。Claude Opus 5 的 zero-shot 和 10-shot 都是 70.0%；GPT-5.6 Luna 从 64.0% 到 60.0%；DeepSeek V4 Flash 从 62.0% 到 65.0%；DeepSeek V4 Pro 从 62.0% 到 60.0%。人按顺序做题，正确率也没有往上走。同一 50 题上，推理档从 none 拉到 max，差 7 个点以内分不出来。GLM-5.2 仅有的提升集中在最初几百个输出 token。
选项从 2 加到 10，四个模型贴合 acc(k) ≈ a + (1-a)/k，R^2 不低于 0.94，a 落在 0.35 到 0.39。论文把 a 当成真有把握的比例，其余等价于随机。图 6 里被引用的条目，优化器与数据损失大约 74%–86%，架构大约 63%–65%。Claude Opus 5 的知识库在第 4 版到 76%，之后停在原水平附近。
自动科研 agent 烧的是执行本身。这套题量的是执行之前那一次选择。76% 的总榜主要靠优化器上的短程习惯：学习率太小，参数离不开初始化；自适应方法更容易离开随机猜测附近的损失平台。
20 条读得懂的条件句，参数不动，把 GPT-4o 从 53.2% 拉到 67.6%。最强的求解器几乎不涨。知识库更像把已有经验写成文字。
开发阶段的解析策略，留出法 78.2%，略高于最好的零样本模型。缺的是架构和数据怎么咬合。加长 chain-of-thought 没有补上。
论文承认范围偏窄：全合成、行程短、模型族有限，对不上大模型训练的规模和真实数据。直觉能否带走，没有测。
人的 66.0% 来自 50 题子集，不是满榜 500 题。同一篇写过，50 题上大约 7 个点以内分不清。66% 对 76% 只能说明方向上模型更高。10 人平均 51.0%。摘要用顶尖研究者设问，实测是这 10 位机器学习研究者里的最好成绩。
架构题上人有 65%，领先模型 58%–61%，GPT-6 Astra 38%。人类胜过模型，只在这一项上站得住。
摘要说约 20 条知识能让 GPT-4o 几乎追平 Claude Opus 5。图 7 同一次 50 题是 67.6% 对峰值 76%。涨了，没有追平。
第 4 节用域内逻辑回归 74.2% 说明紧凑启发式仍弱于语言模型。第 5 节开发阶段的解析策略留出法却有 78.2%，高于 GPT-5.6 Sol 的 76.4%。结构化规则没有被抛开。
赢家随数据翻转时，准确率还有 46%–50%，高于 33.3%。改口比例从 6% 到 23%，正文没有按模型拆开。钝感成立，「不懂数据」说过了头。