AutoDataBench: A Data-centric Testbed for Accelerating Auto Research
Ruifeng Yuan, Yizhi Li, Yaxin Du, Fengyu Cai, Yiqi Liu, Hou Pong Chan, Chenghua Lin, Yun Chen, Jian Yang, Bryan Dai, Pinyan Lu, Chenghao Xiao
cs.CL
2026-10-01
AutoDataBench 固定训练管线,单测 LLM 的数据功力:修脏数据 81.98 逼近专家 81.65,知识注入反超专家 12.2 分,检索优化却在隐藏评测上集体塌方。
MLE-bench、MLAgentBench 这类 auto-research benchmark 把 agent 能动的东西全打开了：训练框架、超参、算力、数据随便改。一个 agent 赢了另一个，你说不清它赢在会调参还是真的懂数据。数据偏偏是影响模型性能最大、验证也最贵的变量，改一版数据就得跑一次训练实验。
AutoDataBench 把这个变量单独拎出来测，起名叫「数据智能」：agent 理解、操纵、改进训练数据的能力。及格线不是能写出像样的清洗代码或给出合理解释，而是它的数据决策真的把训出来的模型分数推上去，且实验结果和预期冲突时知道改方向。这个能力立得住，「模型造数据、训练、评测、再造数据」的自举循环才多一块地基。
框架把所有非数据因素钉死：训练管线、辅助模型、源数据集、算力预算（单张 A800、24 小时墙钟、最多 20 轮训练评估、累计提交数据量不超过单轮上限的十倍）。被测 LLM 每轮检查数据、写干预代码、提交训练、拿目标任务反馈，循环到预算耗尽。有一条硬规则：禁止逐条看样本手工处理，批量操作必须走代码和辅助模型，因为真实数据管线的规模是几十万条起步。
三个维度落地成三个任务，顺带覆盖三种训练范式：
每个任务都留一份 agent 全程看不到的分布外（OOD）评测，专门抓 benchmaxxing：在优化目标上刷分、在没见过的分布上露馅。
七个前沿 LLM（GPT-5.6-Sol、Claude-4.7、Kimi-3、GLM-5.2、Qwen-3.7/3.8-Max、DeepSeek-V4-Flash），每个任务各跑三次取均值：
| 任务 | 随机基线 | 专家参考 | 最佳 LLM（ID） | OOD 表现 |
| 工具使用（AST） | 70.45 | 81.65 | 81.98（GPT-5.6-Sol） | 57.26–59.44，均低于专家 60.23 |
| 检索（nDCG@10） | 34.38 | 40.62 | 40.46（GPT-5.6-Sol） | 26.15–30.18，全部低于基线 31.13 |
| 知识注入（Novel） | 39.10 | 48.40 | 60.60（Kimi-3） | Retention 最高 50.37（Claude-4.7） |
三张脸完全不同。脏数据修复上 LLM 已经贴着专家打，80.82 到 81.98 对 81.65，这类活可以放手了。知识注入是全员超过专家，Kimi-3 高出 12.2 分。检索是唯一的翻车点：ID 分最接近专家的 GPT-5.6-Sol（40.46 对 40.62）OOD 掉到全场最低 26.15，连随机基线 31.13 都不如；OOD 最好的 Qwen-3.7-Max（30.18）ID 只排中游。按 ID 反馈调数据，策略换个分布就失灵，排名直接反转。
总分（三任务 ID 均值）Kimi-3 以 60.68 居首，靠知识注入拉动；GPT-5.6-Sol 58.85，靠工具使用和检索的 ID 分撑着。行为层面，63 个 run 里 61 个跑赢自己的初始数据集，首点到最佳点平均涨 8.11、6.46、4.91 分；Kimi-3 在工具使用上从 68.10 一路修到 82.45。
两个延伸实验信息量更大。一是让 agent 在提交数据后、训练前预测这次拿多少分：检索任务上 GPT-5.6-Sol 预测平均误差只有 0.64 分，对数据干预效果有真判断，不是纯试错；但被要求预测的 run 六组里四组最佳分数更低。二是把 benchmark 产生的优化轨迹（8M token，上采样十倍后占 1.6%）掺进 Qwen2.5-Coder-14B 的 5B token mid-training，SWE-bench Multilingual 从 27.67 涨到 33.33，CRUXEval 输入预测从 72.00 到 74.12，MBPP 只涨 0.79。涨得多的两个任务都要先看证据再动手，结构和 auto-research 轨迹最像。
对做评测的人，这是一套归因干净的切片：管线锁死，分数差异只能来自数据决策，补上了全能赛道测不到的维度。隐藏 OOD 评测值得抄，成本不高，一次就能看出排名是不是靠刷优化目标撑起来的。
对做数据的人，结论能直接换算成工作量分配：函数调用这类结构化数据的清洗修复，前沿 LLM 已到专家水平；知识型训练数据构造，LLM 比人工规则强一截；检索负例挖掘这种要精确判断「难但不相关」的活，自主优化还有塌方风险，OOD 得有人盯着。
benchmark 顺产训练数据可能是最值钱的发现：评测环境跑出来的轨迹本身有营养价值，考卷用完还能喂回模型。
作者自述：行为分析是描述性的，没隔离单个操作的因果贡献；首点到最佳点的增益也没把反馈的作用与 checkpoint 挑选、训练方差拆开；专家和基线参考线没有重复 run 的方差。
更值得掂量的是预测实验：每组只有一个 prediction run 对三个标准 run 的均值，而知识注入的 run 间标准差大到 ±7.71（Kimi-3），六组里四组变差完全可能在方差范围内，论文自己也只敢说「整体偏负」。数据引擎实验是单 seed、单模型、单规模，SWE-bench Multilingual +5.66 没有置信区间。三个任务的专家参考构造方式也不统一，严格说不是同一条及格线。