AA Decision Index v2 发布：私人数据集占45%，校准能力计入总分
ArtificialAnlys · x · 2026-11-09
Artificial Analysis 发布 Decision Index v2，旨在更贴近真实效用、防刷榜。关键更新：
- 私人数据集占比升至 45%（v1 为 25%），降低公开基准被污染的风险
- 新主指标 Decision Score：同时奖励正确性与校准置信度，公式等价于 50 × (1 + Accuracy − Brier score)；对每题正确答案给 50 分以上、错误答案 50 分以下，置信度在各自半区调节分数
- AA-Paperclip（权重30%）：1500 份私人文档（简历、收据、发票、论文等），每份 5 个决策 + 10 个事实抽取，15 题全对才算通过
- AA-Symmetry（15%）：120 道基础题共 440 种变体（选项重排、标签互换、是否题取反），测模型在等价问题上的概率一致性
- AA-Omniscience-Decision 与 HLE-MultiChoice 各降至 15%，新增 EvalSafe-ONET-AA（15%），When2Call 降至 10%，移除已饱和的 WildGuardTest
主要结果：
- 专用决策模型前三仅差 1 分：Nace AI 的 Drex Max v1.1 与 Fastino 的 GLiDE v1.2 均为 73，Base Labs 的 Mammoth 27B 为 72
- 通用模型 Claude Haiku 5.5 (Max) 得 77、GPT-6 Luna (Max) 得 76，领先约 3 分
- 成本差异巨大：每 100 万任务成本从 Celeris-1.1 的 $14 到 Clef 的 $859，相差 60 倍以上；GPT-6 Luna (Max) 达 $1,530，是 Drex Max v1.1（$102）的 15 倍
- 计费方式显著影响实际成本：GLiDE v1.2 对每题重复计费输入，实际成本 $780，比 list 价格高 33% 的 Drex Max v1.1 贵近 8 倍
所属事件:Artificial Analysis 发布决策模型指数 v2，防刷榜更贴近真实效用(2 条相关)→
「模型」频道最新
- 研究者：实验定配方，但 scaling 随时可能改写结论 — liliyu_lili · 2026-11-09
- GLM-4.5 开源 48 小时登顶 Hugging Face,海外公司纷纷接入 — ccerrato147 · 2026-11-09
- 有人问：史上有没有明显不如前代的 LLM 发布？ — adonis_singh · 2026-11-09
- 多位 CEO 称 Google Argon 写作能力出众，或成 AI 黑马 — danshipper · 2026-11-09
- Epoch AI 新增 ECI 分数：推算 Gemini 3 Pro 时距达 4.9 小时 — CFGeek · 2026-11-09
- 安全研究者列开放权重模型三大低门槛滥用路径：内鬼、小众工具、社工 — matthew_d_green · 2026-11-09