SWE-Bench Pro V2 上线即饱和，网友吐槽基准已被刷穿
burny_tech · x · 2026-09-23
ScaleAI Labs 官宣 SWE-Bench Pro V2 上线并发布更新说明，但 X 用户转发调侃：新基准刚发布就已经被模型刷到饱和——反映当前前沿模型在软件工程基准上的能力已远超基准设计速度，基准更新的意义在于维持区分度而非拉开差距。
所属事件:SWE-Bench Pro V2 Hard 上线首日被刷至 98%，迅速饱和(2 条相关)→
「模型」频道最新
- Inkling 2 Small 预训练仅 1/6 时长却表现强劲，引发业内猜想 — georgejrjrjr · 2026-11-12
- 博主列 OpenAI 五大失分点：预训练退步、对齐转怯、企业市场被 Claude 吃掉 — teortaxesTex · 2026-11-12
- Fable 5.2 遥远劳动指数飙至 41.3%,一年前仅 2.5% — alliekmiller · 2026-11-12
- Beaker 复现 MIT 权重空间编程：改一个神经元，MATH-500 从 7% 提到 37% — VictorSanh · 2026-11-12
- 安全研究员质疑 Anthropic Mythos 误报率:37966 个发现仅 2 个在野利用 — OwariDa · 2026-11-12
- 曝 Grok 正开发会议「听对话」功能：录音转写自动记笔记 — nima_owji · 2026-11-12