SlopCodeBench 榜首仅 16%,编码 Agent 真实水平远低于其他榜单
ajratner · x · 2026-10-23
Ryan 推荐的 SlopCodeBench 被称为当前最有参考价值的编码 Agent benchmark：其他榜单（Terminal-Bench、FrontierCode、DeepSWE）头部成绩已达 50-75%，而它榜首只有 16%。
玩法：Agent 先按规格实现一个小程序（如备份调度器、mock HTTP server），然后接收新规格做扩展，如此迭代 3-8 轮；每轮新规格都带隐藏测试，同时校验新功能和所有旧功能。
为什么值得看：
- 远比单点任务更接近真实代码库的长程开发——需求不断更新
- 代码的连贯性、可维护性、可扩展性天然变得重要
- 饱和度远低于其他编码榜单
配图榜单显示：GPT-6 Astra XHigh strict 通过率 16.33%（core 69.39%），Opus 5.5 Medium 14.29%（core 73.98%），GLM 5.3 XHigh 12.24%；strict 与 core-only 分差普遍超 50 个百分点。
「编程与Agent」频道最新
- OpenDS-World 发布真实网页深度搜索基准,前沿模型仍显著落后人类 — Xiaomin Yu · 2026-10-23
- 西交大研究:朴素 RAG 在 7 项记忆基准中 6 项击败复杂 Agentic 记忆系统 — XianJiaotongUniversity · 2026-10-23
- AI 助手主动请缨替人回帖监控舆情,网友直呼像地狱 — cnakazawa · 2026-10-23
- 用 Grok Build 生成的「网络效应合成器」：140 种网络效应分类画廊 — seanmcdonaldxyz · 2026-10-23
- Zig 显式内存分配为何适合写数据库：无 GC、分配可控、错误显式 — arpit_bhayani · 2026-10-23
- 11 天用 Claude Code 搭 Company OS：Slack 里跑起来的团队操作系统 — aakashgupta · 2026-10-23