花费266美元实测196个检查点：代码变乱并不影响Opus 5.5解题
aj_marshall · reddit · 2026-10-26
一位开发者复现并检验 SlopCodeBench 论文的核心结论：agent 写的代码会随时间越来越乱，论文认为乱码会导致后续任务失败。他让 Opus 5.5 跑完全部 196 个检查点（API 花费 266 美元），得出不同结论：
- 代码确实变乱：35 个问题中有 22 个的「结构性侵蚀」和冗长度都上升；
- 但在同一问题内比较，代码乱不乱并不能预测下一个检查点能否通过；
- 旧功能几乎不被破坏：此前通过的测试仅约 0.3% 出现回归，乱仓库的回归率并不更高；
- 代码乱也不增加成本，但代码规模会：仓库每翻一倍，下一个检查点成本约涨 19%；
- 整个排行榜上，代码干净度与解题数相关性几乎为零。
作者指出榜单上 17% 的严格通过率严重低估了 Opus：仅看新 spec 对应测试时通过率达 84-92%。他承认这是单模型单次运行的观察性结果，小效应可能存在，但远未达到这些指标宣称的惩罚程度。
「编程与Agent」频道最新
- 港科大论文：策略暗藏 harness 偏好，部署收益=harness 上限-策略失配 — HKUSTGZ · 2026-10-28
- Addy Osmani 发长文教程：零 API 基础上手 Claude Code Mods — addyosmani · 2026-10-28
- 2.1 万星开源课程：14 讲 8 项目教你从零构建可靠 AI Agent Harness — techNmak · 2026-10-28
- Grok Bot 上线免费电话前台:自动读短信语音、拟回复、订日程 — elonmusk · 2026-10-28
- 采购 agent 的人机分工实践：自动化 80%，人守决策与谈判 — nordic_ash · 2026-10-28
- 五分钟本地跑通 RDF 图数据库:Oxigraph 免服务器试用 SPARQL — JeremyCMorgan · 2026-10-28