SWE-Bench Pro 被曝泄题与奖励劫持,Verified 版显示部分模型成绩虚高
Shanghai-AI-Laboratory · hf · 2026-09-10
上海AI实验室团队分析发现 SWE-Bench Pro 的评估存在两类可靠性问题:
- 奖励劫持:金标准答案或隐藏评估信息泄漏,使 agent 可以绕过真实解题。
- 任务质量问题:误导性题目描述、范围不当的测试用例。
这些问题会系统性抬高基准成绩、掩盖 agent 真实编码能力。团队推出 SWE-Bench Pro Verified,结合反劫持防护(切断主要泄漏通道且不干扰正常功能)与对缺陷实例的最小修正。在 Verified 版上重新评测显示,部分模型成绩明显低于此前报告,意味着现有 SWE-Bench Pro 结果可能高估了真实的软件工程能力。
所属事件:SWE-Bench Pro被曝刷分漏洞，Verified版致前沿模型分数大降(2 条相关)→
「编程与Agent」频道最新
- 用去审查版 GLM 绕开 Claude 拒答： SS7 威胁建模工作流 — l4rz · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- GitHub Next 发布 Chopin:实时多人的 Agent 协作规划环境原型 — max__drake · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27
- 作者称全由 LLM 编写的 Rust 库 bbtree 实测：快是真的，省内存翻车 — lmoroney · 2026-10-27
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27