WhatWorkedBench: Benchmarking Experimental Understanding in AI Agents
Jingjie Ning, Xueqi Li, Yibo Kong, Dongting Li
cs.AI, cs.LG
2026-09-23
WhatWorkedBench要求agent在预算内提交完整响应面，用穷尽CPU结果打条件效应。Flash在B=8时recovery为0.632，同一观测改拟合GP升到0.698；编码代码等价后六因子GP从0.248升到0.462。
研究型 agent 会改代码、跑实验、再根据分数改配方。现有基准多半看最终分或实验计划写得像不像。选中一个好配置，并不等于搞清楚「改这个组件、在别的组件固定时，分数会怎么变」。检索里同一个开关，在一种背景下能把 NDCG@10 提高 0.160，换一种背景又降低 0.084，交互达到 −0.245。目录里 36 个任务条件有 35 个出现符号反转；两边效应都超过分数全距 5% 的仍有 24 个。平均主效应或「最优配置」盖不住这种条件行为。
WhatWorkedBench 把实验理解定义成：预算用完后，对每个组件在每种背景下的条件效应预测有多准。每个任务是 4 或 6 个二进制选项，全部配置合法。agent 免费看到全 0 和全 1 两个锚点，最多再买 B 次测量，最后必须提交一张覆盖全部配置、取值在 [0,1] 的响应面。评测方用穷尽 CPU 跑出的原生分数当参考。主指标是条件效应的平均绝对误差，以及相对真实效应幅度的 recovery；另报成对交互、网格误差和选配置的 regret。严格档要求每个效应误差不超过分数全距的 10%。
目录覆盖 8 类工作流、30 个数据源、36 个任务条件：分类、回归、聚类、预测、图像复原、检索、节拍检测、链路预测，共 1248 条配置记录。数值对照包括主效应岭回归、成对效应岭回归和高斯过程。共享估计协议把 agent 已经买到的观测固定，只换拟合方法，用来拆开「买了什么」和「怎么用这些点」。代码等价类把「过滤器关掉则宽度无效」这类可见规则变成测量约束。
22 个四因子源、B=8 时，成对效应岭回归在 15 个源上选中最优配置，只有 3 个源通过严格重建。13 个「选对了配置」的实例，效应误差仍超过严格阈值。family-macro recovery：成对岭回归 0.612，效应方差 GP 0.701。
四因子 agent 在六个匹配源上，DeepSeek-V4-Flash 在 B=8 时 recovery 为 0.632（原始队列）和 0.621（追加队列）。把同一批观测改拟合 GP，分别升到 0.698 和 0.720。18 次 Flash B=8 里，7 次选中精确最优，1 次通过严格重建。用观测均值填未测格子只有 0.287，对照提交物的 0.632。
六个已完成的节拍检测和图谱提交，B=32，提交物 family-macro recovery 0.303，同一观测上的 GP 升到 0.455，六个源全涨。六个工作流、六个二进制选项、B=20，编码代码等价类后 GP recovery 从 0.248 升到 0.462。八次诊断里，agent 能在测量前报出全部六条规则，最终表仍然违反这些等价；事后按类投影，recovery 从 0.338 升到 0.507。
给代码和只给掩码加分数的对照，recovery 几乎打平，共享 GP 甚至更偏不透明观测。看见程序结构，还不等于会用。
自动科研基准如果只看「有没有刷到更高分」，会把优化成功误当成理解。这篇把交付物规定成完整响应面，并且用穷尽原生执行当参考，优化和理解可以分开打分。共享估计让人检验：换一个拟合器，同一组实验点能多恢复多少。对做实验设计、响应面推断、以及想让 agent 遵守代码里失效规则的人，这是可复现的靶子。工作流是 CPU 可穷尽的小因子设计，不是完整的 GPU 训练配方。
因子只有 4 或 6 个，才能穷尽参考；真实训练配方的组合空间大得多。核心 108 次四因子回合里有 HTTP 429 和超时，缺交卷按 recovery=0 计入。Flash 和 Pro 两个日期队列表现差一截，接口稳定性也进了分母。agent 报得出规则却写不出遵守规则的表，说明「看见代码」这条信息通道还没接到预测上。AI 编程助手参与了实现和起草，作者用冷启动重放和独立指标做核验。