Artificial Analysis 发布智能指数 v4.2，私有测试集防刷榜
Artificial Analysis 于 9 月 5 日发布 Intelligence Index v4.2 中期更新，提前释放原定 v5 的部分内容，以跟上前沿模型的迭代节奏，距 v4 发布已过去 8 个月。新版任务更复杂、更贴近真实场景，40% 权重改用私有测试集以防止模型针对公开考题作弊，GPQA 因已饱和被移出指数；同时新增 AA-Briefcase 智能体知识工作评测与 GDP.pdf 长文档推理榜，并公开完整评测方法论页面。
已确认
- 指数更新：v4.2 任务更复杂、更真实，40% 权重使用私有测试集，降低公开基准被针对性优化的风险；GPQA 饱和后被移除。alexandrwang 转发评论称 Muse spark 1.3 max 表现依旧强劲，效率前沿基本延续。
- AA-Briefcase：自研智能体知识工作评测，采用私有测试集，首次随 v4.2 一并发布分模型成绩。Anthropic 的 Claude Fable 5.1 与 Opus 5 领跑，OpenAI 的 GPT-6 Astra 落后约 85 Elo，处于猛追态势。
- GDP.pdf 长文档推理榜：跨 4,592 页 PDF 的长文档推理评测。GPT-6 Astra 以 33.2% 排名第一，GPT-5.6 Sol 以 28.2% 次之，Claude Fable 5.1 以 26.2% 位列第三。
- token 效率：GPT-6 Astra 在 v4.2 的 token 效率维度领先。
- 竞争格局：Hesamation 转发时提到约 300 人的 Moonshot 团队凭借 Kimi 在总榜上逼近 Google。
- 方法论公开：Artificial Analysis 公开 v4.2 完整评测方法论页面，说明指数如何综合推理、知识、数学与编程等十余项基准刻画模型整体智能，并坦承任何评测指标都有局限。
为什么重要
- 40% 权重转向私有测试集并移除饱和的 GPQA，是对公开基准数据污染与刷榜问题的直接回应，可能影响各家实验室的优化策略。cHHillee 在转发中指出，不仅实验室可以对榜单「benchmaxx」，评测机构自身也需警惕类似倾向。
- GDP.pdf 与 AA-Briefcase 两大新榜呈现分化格局：OpenAI 占优长文档推理，Anthropic 占优智能体知识工作，为模型选型提供了更细粒度的参考。
- 规模仅约 300 人的 Moonshot 借 Kimi 在总榜上逼近 Google，显示中小团队在新一轮竞争中仍有突围空间。
2026-09-05 ~ 2026-09-07 · 14 条相关
一手来源
- Artificial Analysis 发布智能指数 v4.2：40% 权重改用私有测试集防刷榜 — ArtificialAnlys ·
- AA-Briefcase 榜单：Claude Fable 5.1 与 Opus 5 领先，GPT-6 Astra 猛追 85 Elo — ArtificialAnlys ·
- Artificial Analysis 公开智能评测完整方法论，覆盖十余项基准 — ArtificialAnlys ·
- 【源头】Artificial Analysis 发布智能指数 v4.2：40% 权重改用私有测试集防刷榜 — ArtificialAnlys · 2026-09-05
- Artificial Analysis 发布智能指数 v4.2：GPT-6 Astra token 效率领先 — ArtificialAnlys · 2026-09-05
- 【源头】AA-Briefcase 榜单：Claude Fable 5.1 与 Opus 5 领先，GPT-6 Astra 猛追 85 Elo — ArtificialAnlys · 2026-09-05
- GDP.pdf 长文档推理榜：GPT-6 Astra 以 33.2% 居首 — ArtificialAnlys · 2026-09-05
- 【源头】Artificial Analysis 公开智能评测完整方法论，覆盖十余项基准 — ArtificialAnlys · 2026-09-05
- AA 智能指数 v4.2 发布：Muse spark 1.3 max 表现依旧强势 — gaotianyu1350 · 2026-09-05
- AA 情报指数 v4.2 上线：更复杂任务加私有测试集，防模型刷榜 — shuchaobi · 2026-09-05
- AA 榜单 v4.2 更新：300 人 Moonshot 靠 Kimi 逼近 Google — Hesamation · 2026-09-05
- Artificial Analysis 推出 Intelligence Index v4.2,加入私有测试集防刷榜 — poigre · 2026-09-05
- Artificial Analysis 发布 Intelligence Index v4.2:GPQA 饱和移除,私测集防刷榜 — SonglinYang4 · 2026-09-06
- Artificial Analysis 推出 Intelligence Index v4.2，加两个长任务基准 — ArtificialAnlys · 2026-09-06
- 评测机构连夜改版 Anti-Benchmaxxing,私有测试集防刷榜 — solyarisoftware · 2026-09-06
另有 2 条近重复转述:ArtificialAnlys · burny_tech