SatBench 统计：大厂引用的 173 个 AI 基准已有 63% 被刷穿
emollick · x · 2026-11-15
Ethan Mollick 制作了一个“基准的基准”——SatBench,追踪各大 AI 实验室自 2023 年以来在发布帖中引用的基准被“刷穿”(最佳成绩达 85% 即算饱和)的速度。
核心发现:
- 173 个被实验室引用的基准中,截至 2026 年 11 月已有 109 个(63%)饱和,且饱和速度逐年加快
- 2023 年版基准已 100% 被刷穿;2025 年新基准中位存活时间仅 14 个月(2023/2024 年为 20 个月)
- 一年内被刷穿的比例:2023 年 17% → 2025 年 43%;2026 年新基准发布 6 个月内已有 32% 被破解
- OpenAI 累计刷穿最多(20 个),Anthropic 在 2026 年领先(11 个)
- 最难啃的仍包括 Humanity's Last Exam(74%)、MMMU-Pro、SciCode、IFBench
- 按当前速度推算,今天的基准集合约 2028 年整体饱和;若算上新基准持续涌现,约 2030 年
结论:AI 进步速度快于我们测量体系更新速度,旧基准迅速失效,新基准也在加速被攻克。
所属事件:研究者推SatBench追踪AI基准饱和：173个中63%已被刷穿(2 条相关)→
「模型」频道最新
- Gemini 数学能力负责人现身说法：从评测北极星到大规模后训练 — thtrieu_ · 2026-11-15
- Claude Code 封号因祸得福？博主实测 43 小时省下 53 美元成本 — mazzaTalk · 2026-11-15
- LFM2.5-24B-A2B 被赞本地任务执行首选：780M 核显跑出 37 token/s — jeremyckahn · 2026-11-15
- Will Depue 取证翻车?自称坐实 DeepSeek 用 Blackwell,报告却写未破解 — teortaxesTex · 2026-11-15
- nanoGPT 加速收益多来自环境定义，新模型已破人类纪录 — eliebakouch · 2026-11-15
- Scott Reed 体验 robotaxi:惊艳但仍需改进行人检测 — scott_e_reed · 2026-11-15