Jason Wei 统计前沿实验室跑分偏好,四大基准被全员采用
davidmanheim · x · 2026-11-19
Jason Wei 制作了一个「benchmark 的 benchmark」:统计2026年各前沿实验室报告成绩时使用基准的频率分布。
主要观察:
- HLE、SWE-Bench Pro、DeepSWE、Terminal-Bench 四个基准被所有前沿实验室采用
- Scale AI 背后支撑其中两个(SWE-Bench Pro、与 CAIS 合作的 HLE),还做了排名第9的 MCP-Atlas
- OpenAI 是跑基准最勤的前沿实验室
davidmanheim 回复指出:像生物信息学领域的 BioMysteryBench 这类专用基准,OpenAI 等厂商完全不在其上评估模型能力,这更多是各厂商不愿/无法检验此类能力短板的问题。
「模型」频道最新
- commentator:Google 每两周发一个模型,市场已疲到无人注意 — gabriel1 · 2026-11-19
- Miles Brundage 吐槽:Antigravity 企业版拿不到最新模型 — Miles_Brundage · 2026-11-19
- 网友呼吁保留被弃用的旧模型:Opus 3 不该是唯一幸存者 — repligate · 2026-11-19
- Miles Brundage:GPT-6.2 Astra 在长回文任务上出现能力回退 — Miles_Brundage · 2026-11-19
- Opus 5.5做实验翻车:选了常数任务测推理档位还误判API不支持 — adam_karvonen · 2026-11-19
- Anthropic 被指误封 AI 安全研究员多个 Ultra 账号,研究被迫中断 — Sauers_ · 2026-11-19