Gemini Decision 1 知识推理评测居首，靠校准胜出而非准确率
ArtificialAnlys · x · 2026-11-12
Artificial Analysis 补充 Gemini Decision 1 的分项评测细节：
- AA-Omniscience-Decision：Decision Score 66，领先 d1-ultra（64）与 GLiDE v1.2（61），与 GPT-6 Luna (Max) 持平；正确率 45%，远超 Drex Max v1.1（28%）与 GLiDE v1.2（27%）
- HLE-MultiChoice：得分 49 居首（Mammoth 27B 与 d1-ultra 均为 47），准确率与 Decider v1.2、Jev 1.14 相当，但凭更低的 Brier 分数（0.20，全场最低之一）在 Decision Score 上领先
- 成本对比：每百万任务 $345，而 Drex Max v1.1 为 $103、Decider v1.2 为 $68、Celeris-1.1 Decision 仅 $14
所属事件:Gemini Decision 1 首测：知识推理居首但成本过高(6 条相关)→
「模型」频道最新
- 博主列 OpenAI 五大失分点：预训练退步、对齐转怯、企业市场被 Claude 吃掉 — teortaxesTex · 2026-11-12
- Fable 5.2 登顶远程劳动基准 RLI:41.3% 一年翻 16 倍 — alliekmiller · 2026-11-12
- 铁杆 GPT 粉转投 Claude：浪费额度不说，人的时间也很贵 — teortaxesTex · 2026-11-12
- Beaker 复现 MIT 权重空间编程：改一个神经元，MATH-500 从 7% 提到 37% — VictorSanh · 2026-11-12
- 安全研究员质疑 Anthropic Mythos 误报率:37966 个发现仅 2 个在野利用 — OwariDa · 2026-11-12
- 曝 Grok 正开发会议「听对话」功能：录音转写自动记笔记 — nima_owji · 2026-11-12