SlopCodeBench:15 个模型无一全解 36 题,AI 代码冗长度达人类 2.3 倍
aj_marshall · reddit · 2026-10-19
UW–Madison 的 SlopCodeBench(arXiv 2603.24755)研究了一个大多数编码基准忽略的问题:当需求持续演变时,agent 的代码会发生什么。
基准设计:与传统「一次任务、跑测试」不同,SlopCodeBench 让 agent 在多个检查点上不断扩展自己之前写的代码,且不保留早期对话历史、只看代码库——更接近 Claude Code 在真实项目中的用法。
关键发现:
- 测试 15 个模型(含 Opus 4.5/4.6/4.7、Sonnet 4.6),无一完全解决 36 个问题;最佳严格检查点解决率仅 14.8%(GPT 5.5),Opus 4.6 核心测试通过率最高 67.3%
- 77% 的运行出现结构性侵蚀(复杂度集中于过度复杂的函数),75.5% 出现冗长化(浪费模式与复制粘贴克隆)
- AI 代码的冗长度是 473 个人类维护 Python 仓库的 2.3 倍
- 典型案例:某题中 Opus 4.7 的 main() 圈复杂度在 8 个检查点内从 13 涨到 92(38 行 → 240 行),每一步都在恶化
- 「Anti-slop」和 plan-first 提示词能削减初始冗长与侵蚀约三分之一,但无法阻止长期退化,且平均增加约 12% 的单检查点成本(仅在 GPT 模型上测试)
作者还发布了配套视频讲解。
所属事件:威斯康星大学推出 SlopCodeBench，最强编码 Agent 动态任务通关率仅 14.8%(2 条相关)→
「编程与Agent」频道最新
- 亚马逊论文:仅靠 QA 评测会漏判 Agent 记忆故障,两套打分差 16.8 分 — rohanpaul_ai · 2026-10-19
- 用 Grok Bot 一天跑完 4000 站外链提交:筛出 282 个站、上线 9 个的完整流程 — sujingshen · 2026-10-19
- Netflix 公开为生产环境 AI 智能体构建知识库的实践 — AxSaucedo · 2026-10-19
- 开源项目 Reverse Engineer Anything GitHub Star 突破 30 万 — FinanceYF5 · 2026-10-19
- 用 Claude Code + 浏览器代理自动填求职表：只填不提交 — Serious-Werewolf7613 · 2026-10-19
- 双卡 R9700 推理必断电：不是功耗，是 tensor-parallel 负载让 1200W 电源宕机 — brainchillzZ · 2026-10-19