BuggyMLE: Scaling Machine Learning Engineering Difficulty with Bug Injection
John Wu, Rushi Qiang, Yuchen Zhuang, Guowang Li, Girish Narayanswamy, Max Xu, Sam Schmidgall, Mark Malhotra, Shwetak Patel, Jimeng Sun, Daniel McDuff, Bo Dai, Xin Liu
cs.AI, cs.LG, cs.MA, cs.SE
2026-11-19
向 222 个 ML 仓库注入可控 bug 造出难度分档基准,顶级模型解题率 95% 跌到 9%;微调 9B 模型在 10-bug 档反超 Claude Opus 5.5。
机器学习工程(MLE,设计、训练、评估模型的全套工程活)基准有三个老毛病:评分只盯单文件脚本,agent 拿不到完整仓库和 shell;前沿模型几个月就把榜单刷穿;手工出题太贵,每道题都要配数据集、执行环境和人工核验的参考结果。更根本的是没人能定量回答「一道代码题到底难在哪」,合成任务工厂造得出量,造不出难度梯度。
Google Research 和 DeepMind(合作方含 UIUC、Georgia Tech)这篇先补度量,再补控制。
第一步是 CCI(Code Complexity Index,代码复杂度指数)。从每个基准取十个结构特征,分三组:仓库规模(代码行数、文件数、目录深度)、依赖深度(依赖数、最长依赖链)、补丁规模(改动文件数、hunk 数、增删行数;hunk 是 diff 里一段连续修改行)。特征做 log 变换和 z-score 后按组平均,喂给四参数 logistic 回归拟合「基准平均解题率」。全程不用任何模型信息,在八个公开代码基准上解释了 95.1% 的解题率方差,留一基准交叉验证 MAE 为 0.048。三组里补丁规模系数最大(-0.99,仓库规模 +0.64,依赖 -0.34),单独用它也能解释 75.6%。反直觉的一点:把模型身份或外部能力指数加进回归,预测反而变差。跨基准的差异被结构性天花板地板主导,模型能力只在中间段起区分作用。
第二步是 BuggyMLE,四段流水线:
注入的缺陷长得很像日常工程改动:温度标定返回 1/T 而非 T、SpecAugment 掩掉 45% 的频率和时间轴、label smoothing 设 0.05,每个都带一行自圆其说的注释。总规模:222 个源仓库,6674 个执行验证过的变体,约 26 万行注入代码。
BuggyMLEBench-Lite,即 MLE-Bench Lite 的仓库级版本:22 个多文件仓库乘四档(1/5/10/50 bugs)共 88 题,14 个模型里 13 个解题率单调下降。
| 设置 | 结果 |
| 1 Bug 档最高(Claude Opus 5.5) | 95.5% |
| 50 Bugs 档最高 | 9.1% |
| Qwen3.5-9B 底模,1 Bug 档 | 13.6% |
| 全难度课程微调后,1 Bug 档 | 72.7%(SFT-only 为 50.0%) |
| 10 Bugs 档,全难度 9B | 18.2%,超过 Opus 5.5,仅次 Sonnet 5.5 |
| 50 Bugs 档 | 只有 Opus 5.5 和 Gemini 3.8 Flash 能完整解出任何题 |
训练侧用 200 个额外仓库造三档课程(1–5、10–12、30–34 hunks),先 SFT(2724 条教师轨迹加 411 条 RFT),再接 GRPO 强化学习。消融很有信息量:Easy Only 在 5 和 10 Bugs 档全是 0%;Hard Only 在 1 Bug 档掉到 22.7%,尽管逐 bug 解决率更高(59.1% 对 50.0%);只有全难度课程两头都赢。OOD 迁移:SWE-bench Lite 解决率从 24.3% 升到 33.0%,LiveCodeBench v6 pass@1 从 69.3% 到 71.3%,而两个单一难度课程都低于底模。难度来源上,silent bug(验证指标不动、只坏测试预测,比如一个索引错位让验证集保持 0.953 而测试集掉到 0.017)对所有模型都是最低解决率;被 judge 评为 4–5 分真实度的 bug 同样最难修。
这篇给了两件可复用的东西。CCI 是个便宜的难度计,十个结构特征就能预测解题率,出题方可以拿它校准合成基准还剩多少水位。BuggyMLE 把难度从离散档位变成连续旋钮:同一仓库、同一数据集,转 hunk 预算就能出任意难度的题,对训练 coding agent 的人是现成的课程工厂,且奖励密集可验证。9B 模型反超前沿模型那一档也说明,多 bug 仓库修复这种能力可以靠数据造出来,不必只堆参数。
作者自列三条:CCI 只在八个人工基准上验证过,还不算普遍规律;它纯粹是结构特征,不含语义复杂度,在单文件算法题上预测力弱;从 bug 修复迁移到从零写 ML 方案是混合结果。读下来还要留意两处。50 Bugs 档是先把仓库扩到约两倍再注入 23–60 个 bug,难度里有相当部分来自仓库变大,不是 bug 数本身。逐 bug 验证依赖 LLM judge,Opus 5.5 在 10 Bugs 档多数任务能恢复指标却被判未修完,排名对判分标准敏感。基准也只有 22 个底层仓库,题间相关性不低。