SWE-Bench Pro V2 Hard 上线首日即被刷到 98%，基准再告饱和
141_1337 · reddit · 2026-09-23
Reddit 用户指出，SWE-Bench Pro V2 Hard 基准在发布首日就被顶尖模型刷到接近 98% 的完成度，几乎完全饱和。这意味着该基准已无法有效区分前沿模型的真实工程能力，凸显高难度软件工程评测基准持续失效的速度越来越快，业界需要更难、更贴近真实场景的评测方式。
所属事件:SWE-Bench Pro V2 Hard 上线首日被刷至 98%，迅速饱和(2 条相关)→
「模型」频道最新
- Claude Fable 5.2 登顶 Code4Scene,还钻了碰撞检测器的空子 — ZhitingHu · 2026-11-12
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12