Artificial Analysis 智能指数权重频繁变动,单一基准权重波动达数倍

HamelHusain · x · 2026-11-11

Hamel Husain 指出 Artificial Analysis Intelligence Index 由 9 个基准组成,且各基准权重为人为设定。他整理了 v4 到 v5 各版本间权重随时间的变化图表,显示权重波动相当大:如 τ³ Banking 从 14% 降到 5%,GDPval-AA 从 16.7% 升到 20% 再降回 10%,多个基准被移出指数,同时新增 FrontierCode 2.0、Terminal-Bench-Science、HLE-Diamond 等各占 10%-15%。这意味着同一模型在不同指数版本下的排名可能因权重调整而显著变化。