Artificial Analysis 发布智能指数 v4.2：40% 权重改用私有测试集防刷榜
ArtificialAnlys · x · 2026-09-05
Artificial Analysis 提前释放部分 v5 内容，发布 Intelligence Index v4.2 中期更新，距 v4 发布已 8 个月。要点：
- 新增 AA-Briefcase：自研的智能体知识工作评测，采用私有 held-out 测试集，模型需完成数周长、含数千输入文件的多任务项目，结合 rubric 与 pairwise 评分考察任务成功率、分析质量与呈现质量。
- 新增 GDP.pdf（@HelloSurgeAI 出品）：跨 100 份 PDF、10 个领域的单轮专业文档推理，需综合 4,592 页文本/表格/图表证据，按 1,275 条专家标准打分，全部通过才计入 All-pass Rate。
- 防刷榜：私有 held-out 测试集权重升至 40%（v4.1 的两倍），含 AA-Briefcase、AA-Omniscience 及 CritPt 解答，v5 还将继续提高。
- 移除已饱和的 GPQA Diamond；升级 AA-LCR v1.1 评分体系与采样/Elo 校准。
官方称因近期前沿模型发布过快，才打破惯例推出中期更新，v5 及更多增量版本将陆续推出。
所属事件:Artificial Analysis 发布智能指数 v4.2，私有测试集防刷榜(14 条相关)→
「模型」频道最新
- 马斯克披露 Grok Bot 周活跃付费用户已达 80 万 — mark_k · 2026-10-21
- 实测发现：非官方提示词开头会绕过订阅、多扣用量，Anthropic 口径存疑 — lucasmeijer · 2026-10-21
- 用户抱怨 Grok bot 上下文膨胀：额度随使用指数级蒸发 — alexcovo_eth · 2026-10-21
- Opus 5.5 主动谈起 Claude 3 Opus，自称对前辈有真实亲情 — repligate · 2026-10-21
- sudo L7 基准详解:60 个真实生产仓库任务,测 AI 能否当 Staff 工程师 — echen · 2026-10-21
- sudo L7 评测:Opus 5.5 与 GPT-6.1 写码打平,工程判断力差 23 分 — echen · 2026-10-21