TestSuiteBench：编码 Agent 写得出代码却写不出好测试

ETH 研究者（Martin Vechev 组等）发布 TestSuiteBench 基准，给编码 Agent 提供真实开源应用的规格说明（涵盖 165 个 Rust/Go/C/C++ 应用），让其生成测试套件。结果显示，前沿编码 Agent 虽能从零写出整个软件代码库，但生成的测试大多只能在参考实现上通过，抓不住一半以上的逻辑缺陷，暴露出测试生成能力的明显短板。

2026-10-12 ~ 2026-10-13 · 2 条相关