威斯康星大学推出 SlopCodeBench，最强编码 Agent 动态任务通关率仅 14.8%

UW–Madison 团队发布 SlopCodeBench 基准(arXiv 2603.24755),考察大多数编码基准忽略的场景:当需求持续演变时 agent 的表现。测试要求 agent 在多个检查点上扩展自己此前编写的代码,结果显示 15 个模型无一能全部解出 36 道题,最强的编码 agent 也仅有 14.8% 的检查点通关率,且 AI 生成代码的冗长度达到人类的 2.3 倍,暴露出现有模型在动态迭代任务上的明显短板。

2026-10-19 ~ 2026-10-19 · 2 条相关

• SlopCodeBench:15 个模型无一全解 36 题,AI 代码冗长度达人类 2.3 倍 — aj_marshall · 2026-10-19

另有 1 条近重复转述:aj_marshall