AA 智能指数升级 v5.0,中国开源模型集体掉分引中立性质疑
Artificial Analysis(AA)将智能指数从 v4.3.2 更新到 v5.0 后，中国与开源模型分数集体大幅下滑，引发社区对其评测中立性的集中质疑，多位用户开始征求替代评测平台。目前争议分为「AA 有偏向」与「模型过拟合窄基准」两种解释，尚无定论。
已确认
- AA 将智能指数从 v4.3.2 更新到 v5.0,teortaxesTex 提供了两版榜单截图对比，显示包括 Claude Opus 在内的模型排名与分数发生变化，中国与开源模型在 v5.0 中普遍掉分。
- scaling01 转述：AA 在 V5 中引入难度更高的基准，有网友基于 AA 公开数据重构出各基准在 Progress Index 尺度上的难度分布图(涉及 MLCR、GDP.pdf(v5) 等)，首次曝光了 v5 的难度标尺。
- Reddit 用户 YasufoKiddo 转述的质疑帖指出：v5.0 引入基于私有数据集的「私有测试」，使 Kimi K3.1 Pro、DeepSeek V4.1 Flash、GLM-5.3、小米 MiMo-V2.6 等模型的分数受到影响，被指拉高闭源模型、压低中国开源模型。
- Reddit 用户 SadTemperature6721 质疑 AA 习惯在重要开源模型发布或公司 IPO 前后调整评测指标，认为其公信力存疑，并征求替代评测平台。
- Reddit 用户 thiswebthisweb 抱怨 AA 榜单不再列出 GLM-5.3 Flash(其称该模型质优价廉)，并同样征求替代评测站。
- X 用户 dealdealignai(经 aiamblichus 转述)指控 AA 系统性压低开源权重模型的分数，并质疑「Gemini 4 Argon 在 agentic 任务上真的更强吗」。
尚未确认
- AA 是否确有主观偏袒行为，目前仅有用户质疑，无内部证据支持；「私有测试」的实际设计与影响范围也无从独立验证。
- teortaxesTex 提出「过拟合窄基准」的解释：v5.0 难度与分布变化放大了模型对旧版代理指标的过拟合，这只是其个人分析观点。
为什么重要
- teortaxesTex 以 MiMo V2.6 为例指出：该模型比 V4.1F-1017 更窄、实用性更差，RL 训练轨迹、环境多样性与质量较弱，但因覆盖了 AA V4.x 的代理指标而拿高分；难度提升后跌幅甚至超过 1017。这说明榜单更迭既可能暴露刷分模型，也可能被解读为评测机构操纵，第三方排行榜的中立性与「为评测而训练」的现象都值得持续关注。而 v5 难度分布图的重构，让外界首次能部分独立审视 AA 的基准选择逻辑。
2026-10-28 ~ 2026-10-29 · 7 条相关
- 第 1 集:AA 智能指数升级 v5.0,中国开源模型集体掉分引中立性质疑(2026-10-28,7 条)
- 第 2 集:Nathan Lambert 长文剖析 AI 评测行业困境(2026-10-28,5 条)
一手来源
- AA 榜单更新中国模型集体掉分，研究者称是过拟合窄基准所致 — teortaxesTex ·
- AA 智能指数 v5 遭质疑：私有测试拉高闭源、压低中国开源模型 — YasufoKiddo ·
- Artificial Analysis V5 智能指数改用更难基准,难度标尺图首度曝光 — scaling01 ·
- Artificial Analysis 排名被指系统性压低开源模型分数,引发争议 — aiamblichus · 2026-10-28
- 网友质疑 Artificial Analysis 榜单偏袒美国模型,征求替代评测站 — thiswebthisweb · 2026-10-28
- Reddit 用户质疑 Artificial Analysis 趁开源模型发布改动指标 — Sad_Temperature6721 · 2026-10-29
- 【源头】Artificial Analysis V5 智能指数改用更难基准,难度标尺图首度曝光 — scaling01 · 2026-10-29
- 【源头】AA 榜单更新中国模型集体掉分，研究者称是过拟合窄基准所致 — teortaxesTex · 2026-10-29
- 分析称 MiMo V2.6 过拟合评测，难度提升后跌幅超 V4.1F — teortaxesTex · 2026-10-29
- 【源头】AA 智能指数 v5 遭质疑：私有测试拉高闭源、压低中国开源模型 — YasufoKiddo · 2026-10-29