Google 提出注入 Bug 框架,让最优模型解题率从 95% 跌到 9%
omarsar0 · x · 2026-11-23
Google Research/DeepMind 发布论文 BuggyMLE: Scaling Machine Learning Engineering Difficulty with Bug Injection,针对仓库级编码基准快速饱和的问题,提出通过受控注入 bug 来放大 ML 工程任务的难度。
要点:
- 提出 Code Complexity Index(CCI),基于仓库规模、依赖深度、补丁大小等十个结构特征构建,能预测八个编码基准的平均解题率(R²=0.951),其中补丁大小与代码复杂度是最强难度预测因子。
- 基于该指标让 agent 向 222 个可正常运行的 ML 仓库注入受控变异,合成 6600+ 个难度分级的 bug 注入变体、约 26 万行注入代码,构建首个难度分级的仓库级 MLE-Bench Lite 变体 BuggyMLEBench-Lite。
- 14 个模型评测中,最高解题率从最简单档的 95% 一路降到最难档的 9%。
- 用 bug 课程微调的 Qwen3.5-9B 在该基准上可媲美前沿模型,并把 SWE-bench Lite 从 24% 提到 33%、LiveCodeBench v6 pass@1 从 69% 提到 71%。
「模型」频道最新
- OpenAI 图表泄露 GPT-6 Astra 与内部模型,Domingos 质疑数百亿美元收益 — pmddomingos · 2026-11-23
- Replit 多智能体提速 NumPy:32 个 Claude 达 18.9 倍 — amasad · 2026-11-23
- 研究者质疑用 perplexity 设能力上限:tokenizer 粒度天然偏向 OpenAI — davidmanheim · 2026-11-23
- Cartesia H-Net 弃用分词器:动态字节分组带来最高 10 倍训练效率 — bycloud · 2026-11-23
- Gemini 4 Hydrogen 每百万输入 token 1.5 美元,智能指数 51 反超 Argon — dl_weekly · 2026-11-23
- 基础模型 log 困惑度被指极强预测 Epoch 与 OpenAI 能力指标 — stochasticchasm · 2026-11-23