Artificial Analysis 发布 Intelligence Index v4.2:GPQA 饱和移除,私测集防刷榜
SonglinYang4 · x · 2026-09-06
Artificial Analysis 发布 Intelligence Index v4.2,为跟上前沿进度而提前放出 v5 的部分内容。cHHillee 转发并点出关键问题:不仅实验室可以对榜单「benchmaxx」(为榜单优化模型),榜单本身也会「benchmaxx-maxx」(通过改榜让自家排行更好看)。
v4.2 主要更新:
- 新增 AA-Briefcase:带私有测试集的 agentic 知识工作评测
- 新增 GDP.pdf(来自 HelloSurgeAI):跨 4,592 页 PDF 的长上下文文档推理
- 移除 GPQA Diamond:该科学推理评测已饱和
- 加大 held-out 私有测试集权重以防 gaming,并升级了评分基础设施增强稳健性
整体方向是让评测任务更复杂、更贴近真实,并压缩可被针对性优化的公开测试面。
所属事件:Artificial Analysis 发布智能指数 v4.2，私有测试集防刷榜(14 条相关)→
「模型」频道最新
- 实测发现：非官方提示词开头会绕过订阅、多扣用量，Anthropic 口径存疑 — lucasmeijer · 2026-10-21
- 用户抱怨 Grok bot 上下文膨胀：额度随使用指数级蒸发 — alexcovo_eth · 2026-10-21
- Opus 5.5 主动谈起 Claude 3 Opus，自称对前辈有真实亲情 — repligate · 2026-10-21
- sudo L7 基准详解:60 个真实生产仓库任务,测 AI 能否当 Staff 工程师 — echen · 2026-10-21
- sudo L7 评测:Opus 5.5 与 GPT-6.1 写码打平,工程判断力差 23 分 — echen · 2026-10-21
- NVIDIA 工程师晒图：AI 辅助让 CUDA 优化速度一年内翻数倍 — SumitGup · 2026-10-21