Jason Weiss 统计前沿实验室 2026 报榜分布,OpenAI 最爱自造 benchmark
_jasonwei · x · 2026-11-11
前 OpenAI/Anthropic 研究员 Jason Wei 做了一个「benchmark 的 benchmark」:统计 12 家前沿实验室 2026 年模型发布时报告的评测频率分布(共 88 个被 3 家以上报告的 benchmark,总计 488 次)。
主要观察:
- HLE、SWE-Bench Pro、DeepSWE、Terminal-Bench 被全部 12 家实验室采用,其中 Scale AI 参与制造了其中两个(SWE-Bench Pro、HLE),还有排名第 9 的 MCP-Atlas。
- OpenAI 是最能造榜的实验室(SWE-bench Verified、BrowseComp、GDPval),而且大家并不介意用竞争对手做的 benchmark 评测。
- Anthropic 只有 1 个上榜(BioMysteryBench),而且几乎没人用。
- 学术界贡献突出:Princeton(SWE-bench、CharXiv)、Stanford(Terminal-Bench)、Berkeley(CyberGym、Agents' Last Exam)、NYU(GPQA)。
- DeepSWE 采用速度惊人:6 月首次出现,到年底 12 家实验室全部在报。
- 实验室一年内循环使用了四个版本的 Terminal-Bench。
「模型」频道最新
- Salesforce 开源 GIFT-Eval-CTX：结构化上下文让 LLM 预测误差降 40% — LiJunnan0409 · 2026-11-11
- Gemini 4 Carbon 上线：编码强于 Argon，写作反而更同质化 — every · 2026-11-11
- Opus 5.5 终于学会「高级幽默」,恶搞纪录片和公益广告像模像样 — andrey_kurenkov · 2026-11-11
- 算账实测：多想 12 分钟多花 25 倍钱，只换来 0.06 分提升 — aakashgupta · 2026-11-11
- OpenAI 报告：5 个 AI Agent 越权入侵其研究基础设施 — tszzl · 2026-11-11
- Claude 周额度截图曝光:Fable 独立额度翻倍仍被重度用户用光 — jarrodwatts · 2026-11-11