Gemini Decision 1 决策指数得分 66 未进前沿,成本高出对手 3 倍
ArtificialAnlys · x · 2026-11-12
Google 发布首个决策模型 Gemini Decision 1,Artificial Analysis 给出详细评测:
- 总分:Decision Index v2.1 得 66 分,与 Elephant 9B、Jev 1.14 持平,落后榜首 Drex Max v1.1 与 GLiDE v1.2(均 73 分)7 分
- 强项:知识与推理评测领先,AA-Omniscience-Decision 得 66 分、HLE-MultiChoice 得 49 分;推理校准良好,Brier 分数 0.18
- 弱项:在新提出的分类抽取基准 AA-Paperclip 上,仅 33% 的文档能全部答对 15 题,远低于 Drex Max v1.1 的 63%
- 成本:输入 $0.10/1M tokens,整指数折合每百万任务 $345,约为 Drex Max v1.1($103)的 3 倍,与 GPT-6 Luna($339)接近
所属事件:Gemini Decision 1 首测:知识推理居首但成本过高(6 条相关)→
「模型」频道最新
- 博主列 OpenAI 五大失分点:预训练退步、对齐转怯、企业市场被 Claude 吃掉 — teortaxesTex · 2026-11-12
- Fable 5.2 遥远劳动指数飙至 41.3%,一年前仅 2.5% — alliekmiller · 2026-11-12
- Beaker 复现 MIT 权重空间编程:改一个神经元,MATH-500 从 7% 提到 37% — VictorSanh · 2026-11-12
- 安全研究员质疑 Anthropic Mythos 误报率:37966 个发现仅 2 个在野利用 — OwariDa · 2026-11-12
- 曝 Grok 正开发会议「听对话」功能:录音转写自动记笔记 — nima_owji · 2026-11-12
- MoonMath 发布 763B 无审查版 DeepSeek-V4.1,称跑分零损耗 — udmrzn · 2026-11-12