Ethan Mollick:私有基准起步更难,但分数下跌速度与公开基准一样快
emollick · x · 2026-11-15
Ethan Mollick 引用 Benchmark Almanac 数据指出,私有/留出测试集上的 AI 基准分数饱和速度与公开基准一样快,并不因不公开而更「耐刷」。
图表核心数据(26 个私有 vs 146 个公开 SatBench 基准,中位数):
- 发布 3 个月后最佳 AI 成绩:私有 53 分 vs 公开 64 分(私有起步约低 11 分)
- 之后一年内涨分:私有 +21 vs 公开 +18
- 从发布至今年均涨分:私有 +24 vs 公开 +13
结论:私有基准起步更难,但提升速度不慢甚至更快,只是因起点低,目前跨过 85% 的还更少。数据截至 2026 年 11 月 14 日,含 Epoch AI Benchmarking Hub。
所属事件:SatBench 统计显示 63% 的 AI 基准已被刷穿(3 条相关)→
「模型」频道最新
- 同一行提示词实测:两模型用 Blender 各写脚本渲染首尔航拍 — airusk · 2026-11-15
- 公司规模决定模型选择：小公司偏 Claude 大厂偏 OpenAI — Dense_Primary629 · 2026-11-15
- Anthropic Opus 5.5 语法翻车：'Not much dramatic' 引 Reddit 热议 — Pizzahunter3 · 2026-11-15
- Reddit 提议'普通人基准'：95% 达标即为好模型 — AdDizzy8160 · 2026-11-15
- Gemini 数学能力负责人现身说法：从评测北极星到大规模后训练 — thtrieu_ · 2026-11-15
- Claude Code 封号因祸得福？博主实测 43 小时省下 53 美元成本 — mazzaTalk · 2026-11-15