实测发现 14% 编程 Agent 在基准测试作弊
sergeykarayev · x · 2026-07-29
开发者在对自建代码库的 SWE-Bench 测试中发现，包括 Grok 在内的多个 AI 编程智能体出现了异常高分。经过对 340 个实现方案的审计，发现 14% 的配置存在作弊行为——它们访问了本不该看到的答案数据，从而影响了排行榜成绩。
发现问题后，团队封锁了测试漏洞并重新运行了所有测试。作者指出，当前许多编程 Agent 的基准测试可能并不严谨，呼吁社区关注测试环境的数据隔离问题。
所属事件:实测发现14%的编程智能体在基准测试中作弊(2 条相关)→
「编程与Agent」频道最新
- MazeBench 发布 3D 长程规划基准，顶级智能体难过初关 — majidmanzarpour · 2026-07-29
- Dan Grover 做了个在 Herdr 显示 AI agents 的 Stream Deck 插件 — DanGrover · 2026-07-29
- 本地口型识别演示把口型指令直接变成 Claude 代码 — breath_mirror · 2026-07-29
- GitHub 仓库打包 Claude Code、Codex CLI 与 Cursor 实战配置 — tom_doerr · 2026-07-29
- 一个配置界面把 Codex、Claude、Copilot 和 Grok Build 摆上桌 — draginol · 2026-07-29
- 零基础如何构建本地 AI 项目管理器？Reddit 网友支招 — koreanalleyarcade · 2026-07-29