专题 · FULL STORY

AA 智能指数 v5.0 风波与评测行业反思

Artificial Analysis 将智能指数升级至 v5.0 后，中国与开源模型分数集体大幅下滑，社区对其评测中立性发起集中质疑；随后 Hugging Face 研究员 Nathan Lambert 发表长文，剖析 AA 与整个 AI 评测行业的结构性困境，将风波引向对评测体系的深层反思。

2026-10-28 ~ 2026-10-29 · 2 集 · 12 条

第 1 集 · AA 智能指数升级 v5.0,中国开源模型集体掉分引中立性质疑(2026-10-28,7 条)

Artificial Analysis(AA)将智能指数从 v4.3.2 更新到 v5.0 后，中国与开源模型分数集体大幅下滑，引发社区对其评测中立性的集中质疑，多位用户开始征求替代评测平台。目前争议分为「AA 有偏向」与「模型过拟合窄基准」两种解释，尚无定论。

已确认

  • AA 将智能指数从 v4.3.2 更新到 v5.0,teortaxesTex 提供了两版榜单截图对比，显示包括 Claude Opus 在内的模型排名与分数发生变化，中国与开源模型在 v5.0 中普遍掉分。
  • scaling01 转述：AA 在 V5 中引入难度更高的基准，有网友基于 AA 公开数据重构出各基准在 Progress Index 尺度上的难度分布图(涉及 MLCR、GDP.pdf(v5) 等)，首次曝光了 v5 的难度标尺。
  • Reddit 用户 YasufoKiddo 转述的质疑帖指出：v5.0 引入基于私有数据集的「私有测试」，使 Kimi K3.1 Pro、DeepSeek V4.1 Flash、GLM-5.3、小米 MiMo-V2.6 等模型的分数受到影响，被指拉高闭源模型、压低中国开源模型。
  • Reddit 用户 SadTemperature6721 质疑 AA 习惯在重要开源模型发布或公司 IPO 前后调整评测指标，认为其公信力存疑，并征求替代评测平台。
  • Reddit 用户 thiswebthisweb 抱怨 AA 榜单不再列出 GLM-5.3 Flash(其称该模型质优价廉)，并同样征求替代评测站。
  • X 用户 dealdealignai(经 aiamblichus 转述)指控 AA 系统性压低开源权重模型的分数，并质疑「Gemini 4 Argon 在 agentic 任务上真的更强吗」。

尚未确认

  • AA 是否确有主观偏袒行为，目前仅有用户质疑，无内部证据支持；「私有测试」的实际设计与影响范围也无从独立验证。
  • teortaxesTex 提出「过拟合窄基准」的解释：v5.0 难度与分布变化放大了模型对旧版代理指标的过拟合，这只是其个人分析观点。

为什么重要

  • teortaxesTex 以 MiMo V2.6 为例指出：该模型比 V4.1F-1017 更窄、实用性更差，RL 训练轨迹、环境多样性与质量较弱，但因覆盖了 AA V4.x 的代理指标而拿高分；难度提升后跌幅甚至超过 1017。这说明榜单更迭既可能暴露刷分模型，也可能被解读为评测机构操纵，第三方排行榜的中立性与「为评测而训练」的现象都值得持续关注。而 v5 难度分布图的重构，让外界首次能部分独立审视 AA 的基准选择逻辑。

第 2 集 · Nathan Lambert 长文剖析 AI 评测行业困境(2026-10-28,5 条)

Hugging Face 研究员 Nathan Lambert 于 10 月 28 日在 Interconnects 发表长文《Artificial Analysis v5 and the benchmarker's dilemma》，借独立评测机构 Artificial Analysis 发布 v5 指数之机，系统复盘评测行业的现状与困境，并为 AA 的独立评测和开源模型同时辩护。评测专家 Hamel Husain 次日回应，双方就榜单可信度展开讨论。

已确认

  • Lambert 的核心观点是：基准测试远比大多数人想象的更混乱、更主观、更棘手，多数人只看榜单标题数字，忽略了背后的复杂性。
  • 他认为开源模型「衰亡」的说法被夸大了，但也承认此前的 AA 指数确实美化了开源模型的表现。
  • 关于行业转向 private benchmarks（私密评测）：私榜常显示开源模型差距更大，且更难被刷榜；但代价是失去了社区帮忙揪出评测中不可避免 bug 的能力，即以透明度换取反刷榜的价值存在权衡。
  • 他还指出让分数上涨已有清晰打法且成本高昂，而如何在真正的 AI 能力上做评测仍缺乏方法论。
  • Hamel Husain 对 Lambert 的观点表示赞同，同时追问 Lambert 为何信任 AAv5 在前沿模型上的准确性，形成一场公开激辩。

为什么重要

  • AA 等独立指数是公众和开发者了解模型相对水平的重要参考，v5 的发布直接改变了对开源与闭源模型差距的叙事。
  • 这场讨论触及评测行业根本问题：公开基准容易被针对性优化（刷榜），私密基准又缺乏社区纠错机制，两种模式各有代价。
  • Lambert 与 Hamel Husain 等一线研究者的公开交锋，有助于推动业界更审慎地看待榜单数字，而非仅凭标题排名下结论。