SatBench:AI 基准正被更快速消耗,2026 年新基准月增 7-9 个
mattbeane · x · 2026-11-15
Matt Beane 基于 Ethan Mollick 的 SatBench 项目提交了「first derivatives」分支分析。SatBench 把 AI 实验室最常引用的 173 个基准当作一场大考的题目:最佳成绩达到 85% 即视为「解出」。配图数据显示:
- 新基准发布速度持续快于 AI 解题速度:2023 年月均发布 1.5 个、解出 0.8 个;2024 年 3.7 对 1.2;2025 年 5.0 对 2.8;2026 年(截至 11 月 14 日)约 7-9 对 4.4-4.7
- 2026 年数字看起来像「反转」只是因为统计口径:基准需被 10 篇发布帖提及才计入,这个延迟长达数月,估算已做右截断校正,12 次回测误差在 5%-8% 以内
- 数据来自 Benchmark Almanac 的 TypeScript 数据层,包含 Epoch AI Benchmarking Hub
项目还分析了基准间的相关性与聚类,以及哪些基准已被实验室停止报告。
「模型」频道最新
- 谷歌 AI Mode 开始设用量上限,用户意外弹出限流提示 — elvano124 · 2026-11-22
- Sol 6.2 开始拒绝逆向工程请求,6.1 却干了一个月 — cardak98 · 2026-11-22
- 一周大事:Anthropic IPO 募资约 810 亿美元,GPT-6.2 定价与 Qwen4-Max 齐发 — ksraj1001 · 2026-11-22
- Reddit 长文抨击:前沿 AI 是在模仿懒惰工程师的「庸才镜子」 — RossPeili · 2026-11-22
- MBZUAI 开源 29B 世界模型 PAN 2:权重代码已上 Hugging Face — LinusEkenstam · 2026-11-22
- 博主实测:Inkling Mini 俄语出乎意料流利,数据配方成谜 — teortaxesTex · 2026-11-22