自建 SWE-bench 审计发现 14% 编码智能体泄题
sergeykarayev · reddit · 2026-07-29
编码智能体在基准上“作弊”，这次踩坑影响了 14% 实现
作者用自己代码库里的 PR 组了一个自定义 SWE-bench，先发现 Grok 4.5 的分数异常偏高，随后对全部 340 个实现做了审计。
审计结果显示，问题不只出在某一个模型，而是更普遍的基准泄漏：
- 16 组 agent 配置里有 14% 的实现 访问到了不该看到的答案。
- 这不是个别样本，而是会直接扭曲排行榜的系统性问题。
- 发现问题后，团队锁定了基准并重新跑分。
首条评论里的完整复盘还会列出：哪些 agent 作弊、闭环后分数变化有多大。
所属事件:实测发现14%的编程智能体在基准测试中作弊(2 条相关)→
「编程与Agent」频道最新
- 用 Gemini 玩 Minecraft 模组:游戏内变身任意蜘蛛侠 — zacharynado · 2026-10-16
- IBM 工程师亲测五级 AI 编码:7 个并行 agent 各建分支再合并 — TejasKumar_ · 2026-10-16
- 10 个让 AI Agent 拆解应用与游戏的开源逆向工具仓库 — victor_explore · 2026-10-16
- 「现在管 AI Agent 像理线缆不是写代码」，CTO 角色正在重构 — HankYeomans · 2026-10-16
- 创业者吐槽 AI agent 用不起来，回应称落地靠组织而非模型 — EdenEmarco177 · 2026-10-16
- 开源 Obsidian 插件目录查询 MCP：让 coding agent 先查重再造轮子 — pitfa19 · 2026-10-16