OpenCompass 发布 SWE-Bench Pro Verified：修复刷分问题后前沿模型分数大降
_akhaliq · x · 2026-09-11
OpenCompass 发布了 SWE-Bench Pro 的 verified 版本，修复了原版存在的 reward hacking 和任务质量问题。
修复后的结果显示，前沿模型的真实得分远低于此前报告的水平——意味着 agent 编码能力榜单此前存在系统性虚高。
所属事件:SWE-Bench Pro被曝刷分漏洞，Verified版致前沿模型分数大降(2 条相关)→
「模型」频道最新
- Nanbeige4.3-33B 实测：单流 59 tok/s，64 并发总计约 1060 tok/s — MaziyarPanahi · 2026-10-26
- 测试显示 AI 检测器对轻度 AI 润色几乎全部漏判 — paulnovosad · 2026-10-26
- Qwen 4 疑似现身竞技场，阿里下一代模型或已开测 — AIFlow_ML · 2026-10-26
- Nat Lambert 首讲开源模型生态：蒸馏、风险与开放访问走向 — natolambert · 2026-10-26
- 同 harness 对比实测：Nanbeige 33B 输出零可编译 — julianharris · 2026-10-26
- Claude 拒写 SS7 异常检测器，安全分类器误伤防御研究逼用户跑 abliterated GLM — l4rz · 2026-10-26