TestSuiteBench：编码 Agent 能写代码却写不出能抓 bug 的测试

lbeurerkellner · x · 2026-10-13

ETH 研究者（Martin Vechev 组等）发布 TestSuiteBench：给 Agent 一份真实开源应用的规格说明（165 个 Rust/Go/C/C++ 应用，平均 5.6k 词规格、679 个参考测试），要求从零写出完整测试套件，用变异分数（能否杀死植入 bug 的 mutant）评分。核心发现：前沿 Agent 能从零写出整个代码库，但生成的测试很难真正抓到 bug。排名：Claude Opus 5 (high) 变异分数 55.5%，Opus 5.5 (medium) 53.9%，GPT 6.1 Sol 51.6%；尾部模型仅 19-29%。所有模型测试有效性都在 74-97% 区间，说明问题不在测试能不能跑通，而在覆盖是否有效。