SlopCodeBench：最强编码 Agent 在动态任务上仅 14.8% 检查点通关
aj_marshall · reddit · 2026-10-19
UW–Madison 的 SlopCodeBench（arXiv 2603.24755）测试 agent 面对持续演化需求时的表现：agent 需在多个检查点上扩展自己此前的代码，且不带历史对话、只看代码库，更贴近 Claude Code 的真实使用方式。
关键发现：
- 15 个模型（含 Opus 4.5/4.6/4.7、Sonnet 4.6）无一完全解出 36 道题；最严格检查点通过率仅 14.8%（GPT 5.5），Opus 4.6 核心测试通过率最高 67.3%。
- 77% 的运行出现结构性侵蚀，75.5% 出现冗余膨胀；agent 代码比 473 个人类维护的 Python 仓库啰嗦 2.3 倍。
- 案例中 Opus 4.7 的 main() 圈复杂度在 8 个检查点内从 13 涨到 92（38→240 行），每步都在恶化。
- 「反 slop」与 plan-first 提示词能把初期膨胀和侵蚀砍掉约三分之一，但挡不住长期退化，且每检查点成本平均上升约 12%（仅在 GPT 模型上测试）。
作者配了视频解说。
所属事件:威斯康星大学推出 SlopCodeBench，最强编码 Agent 动态任务通关率仅 14.8%(2 条相关)→
「模型」频道最新
- Reddit 团队发布 293B 记忆原生 MoE:把记忆写进前向传播而非外挂框架 — MaterialButterfly135 · 2026-10-19
- 港大团队拆解视频世界模型记忆失败：执行与记忆需分开诊断 — hkuhk · 2026-10-19
- Reddit 实测:Nemotron 3.5 Super VL 小众知识问答领先一众大模型 — Kahvana · 2026-10-19
- 思想实验：若亿万公司停更开源模型一年，开源社区还剩什么 — ForsookComparison · 2026-10-19
- MBZUAI 开源 Jais 3：0.9B 到 375B 六款阿拉伯语模型全公开 — lmoroney · 2026-10-19
- Opus 5.5 被赞里程碑：开发者称终于不再追新模型 — dreamwieber · 2026-10-19