Ethan Mollick 建 SatBench：173 个 AI 基准 63% 已被刷爆
emollick · x · 2026-11-15
Ethan Mollick 发布了 SatBench 项目，用于量化主要 AI benchmark 被刷到饱和（即被有效打穿）的速度。
- 统计 2023 年以来各大实验室引用的 173 个 benchmark，其中 63% 已饱和；
- 饱和速度逐年加快，AI 能力提升的速度已经超过现有评测体系能衡量的速度；
- 数据集已在 GitHub 上以 CC0-1.0 许可开源发布，并附有 The Benchmark Almanac 相关整理。
核心结论：benchmark 迭代跟不上模型进步，靠现有榜单判断模型前沿水平越来越不可靠。
所属事件:研究者推SatBench追踪AI基准饱和：173个中63%已被刷穿(2 条相关)→
「模型」频道最新
- Gemini 数学能力负责人现身说法：从评测北极星到大规模后训练 — thtrieu_ · 2026-11-15
- Claude Code 封号因祸得福？博主实测 43 小时省下 53 美元成本 — mazzaTalk · 2026-11-15
- SatBench 统计：大厂引用的 173 个 AI 基准已有 63% 被刷穿 — emollick · 2026-11-15
- LFM2.5-24B-A2B 被赞本地任务执行首选：780M 核显跑出 37 token/s — jeremyckahn · 2026-11-15
- Will Depue 取证翻车?自称坐实 DeepSeek 用 Blackwell,报告却写未破解 — teortaxesTex · 2026-11-15
- nanoGPT 加速收益多来自环境定义，新模型已破人类纪录 — eliebakouch · 2026-11-15