评测机构连夜改版 Anti-Benchmaxxing,私有测试集防刷榜
solyarisoftware · x · 2026-09-06
Artificial Analysis 发布 Intelligence Index v4.2,因前沿模型迭代太快,提前拆分原 v5 的内容做中间版本更新。变化包括:新增带私有测试集的 agentic 知识工作评测 AA-Briefcase、引入跨 4592 页 PDF 的长文档推理测试 GDP.pdf、移除已饱和的 GPQA Diamond,并加大 held-out 测试集权重、升级评分基础设施以防止刷榜。@weiping 评论称第一次见到评测机构连夜追着模型改基准,「以前是 benchmaxxing,现在是 model-maxxing——做出好模型,排行榜自然会追着你跑」。
所属事件:Artificial Analysis 发布智能指数 v4.2，私有测试集防刷榜(14 条相关)→
「模型」频道最新
- Opus 5.5 主动谈起 Claude 3 Opus，自称对前辈有真实亲情 — repligate · 2026-10-21
- sudo L7 基准详解:60 个真实生产仓库任务,测 AI 能否当 Staff 工程师 — echen · 2026-10-21
- sudo L7 评测:Opus 5.5 与 GPT-6.1 写码打平,工程判断力差 23 分 — echen · 2026-10-21
- NVIDIA 工程师晒图：AI 辅助让 CUDA 优化速度一年内翻数倍 — SumitGup · 2026-10-21
- claudefriend 聊天截图泄底:政策模型竟是专为 Claude 调教的 Qwen — Sauers_ · 2026-10-21
- 微软在 Hugging Face 上架基于 Mistral-7B 的情感分析模型 — NielsRogge · 2026-10-21