研究称五分之一 AI 基准测试在新模型中出现倒退
Paradigm 3 的 Niccolò Zanichelli 和 Gavin Leech 对超过 5000 个模型-基准测试对进行分析,发现前沿 AI 模型"有时会变差":约五分之一的基准分数在连续模型迭代中出现下降,中位数跌幅大多小于 8%。这一现象表明模型升级并不保证全面进步,可能在不同能力上出现此消彼长。
2026-08-27 ~ 2026-08-27 · 2 条相关
- 五分之一 AI 基准分数在模型迭代中变差 — gleech · 2026-08-27
- 研究称五分之一 AI 基准测试在新模型中出现倒退 — gleech · 2026-08-27