AA 榜单更新中国模型集体掉分，研究者称是过拟合窄基准所致
teortaxesTex · x · 2026-10-29
针对「为什么每次 Artificial Analysis 智能指数更新，中国和开源模型都大幅掉分」的疑问，teortaxesTex 给出解释并附上 AAII v4.3.2 与 v5.0 两版榜单截图：
- v5.0 中 Claude Opus 5.5 (fallback) 以 58 居首，GPT-6、GPT-6.1 Sol 紧随；Kimi K3.1 Pro 降至 46，Qwen3.8、DeepSeek V4.1 Flash、GLM-5.3 等中国模型跌至 32-34 分
- 作者观点：中国实验室在上一轮已暴露的窄基准上「爬山」优化，而美国实验室在拓展更广的能力边界；AA 更新后所有模型绝对分都降，但中国模型跌得更狠
- 他还指出算力充足但二线的 Meta（Muse）和 Grok 也大跌，接近最好的中国模型水平——管线较弱者更易过拟合这一代理指标；Opus 和 Astra 更通用所以保住位次
- 强调「这不是阴谋论」：AA 主要衡量的是实用性（utility）而非纯粹的智力
另一评论者 testtm7873 补充称 Terra 虽在榜单上远超 Kimi 和 1017，「但说它比 Fable 更聪明，一千年也不可能」，AA 测的是打磨程度。
所属事件:AA 智能指数升级 v5.0,中国开源模型集体掉分引中立性质疑(7 条相关)→
「模型」频道最新
- 人设提示词让模型在 SIMNER 基准一律锁 35%,换模型也没用 — amplifiedamp · 2026-10-29
- OpenAI Terra 6.1 评测：便宜模型配对调用，跑赢基准测试看不见的经济账 — IamNotGorbachev · 2026-10-29
- qwen-code 合并 PR：Qwen4 全系上下文窗口定为 100 万 tokens — haider1 · 2026-10-29
- 用户质疑 Claude 周额度未用先扣：重置后 2% 莫名消失 — umeshonai · 2026-10-29
- 「人格神经元」遭质疑:改几个浮点数就能击穿对齐人格 — aiamblichus · 2026-10-29
- 社区为 Qwen4 提愿望清单:512K 上下文与「说人话」呼声最高 — perelmanych · 2026-10-29