Google 新模型 Gemini Decision 1 登第三方榜:综合分 19/54,千次决策 $0.038
airesearch12 · x · 2026-11-13
Benchmark Heaven(JevBench v1.8.10)收录 Google 新模型 Gemini Decision 1(hosted API),并给出与官方口径的差异分析:
- 成绩:综合分在 54 个 hosted API 中排第 19;Capability 维度 39 个中排第 13。
- 官方 vs 实测:Google 自报 92.2%(231 个公开 v1.2 题),第三方 300 题实测 87.3%,按更严的 yes/no 规则 83.7%;全 1,500 题(含 1,200 非公开题)为 86.3%,校准分也在榜单前列(86.3 board scale)。图中说明两者口径不同,并非矛盾。
- 性价比:每 1,000 次决策 $0.038(Google 牌价),在 54 个 hosted API 中有 31 个比它便宜;Capability/成本散点图上处于中游,不如 Torchcast Decision 31B、decide-1.1(85.3%)等更便宜或更强的竞品。
「模型」频道最新
- Reddit 长文抨击:前沿 AI 是在模仿懒惰工程师的「庸才镜子」 — RossPeili · 2026-11-22
- MBZUAI 开源 29B 世界模型 PAN 2:权重代码已上 Hugging Face — LinusEkenstam · 2026-11-22
- 博主实测:Inkling Mini 俄语出乎意料流利,数据配方成谜 — teortaxesTex · 2026-11-22
- 美国开源模型 Inkling 2 Mini 发布,32GB 内存的 Mac 就能跑 — alex_verem · 2026-11-22
- 网友喊话 OpenAI:GPT-6.2 Sol 与 Astra 表现为何如此糟糕 — kimmonismus · 2026-11-22
- 用户吐槽 GPT-5.5 难用:写冗余代码、乱建重复函数 — yacineMTB · 2026-11-22