Artificial Analysis 发布 Decision Index:决策模型比 LLM 便宜 4 倍、快 11 倍
ArtificialAnlys · x · 2026-10-14
Artificial Analysis 推出 Decision Index v1.0,用四个基准横评「决策模型」(返回结构化答案+概率):AA-Omniscience-Decision(知识/幻觉)、HLE-MultiChoice(推理)、When2Call(工具调用)、WildGuardTest(安全分类)。核心发现:
- Jev 1.13(Typesafe)以 58 分居决策模型之首,GLiDE 与 Microsoft-Decision-1 均为 54 分;
- 成本最低的是 Perplexity Decider v1.1 27B,每百万任务仅 $17;与 Microsoft-Decision-1($31)、Jev 1.13($42)同处性价比 Pareto 前沿;Celeris-1 Decision 最快(每任务 0.06 秒);
- 决策模型在分类和工具调用上可媲美 LLM 且更便宜更快,但知识/推理明显落后:Claude Haiku 5.5 (Low) 得 61 分领先 Jev 3 分,但每任务 1.4 秒(慢 11 倍)、$184/百万任务(贵 4.4 倍);
- 各决策模型在知识与推理任务上概率校准普遍偏差,分类与工具调用任务校准较好。
「模型」频道最新
- Mollick 评 Gemini 4:其他模型可能在蒸馏 Claude/GPT,风味太像 — JMateosGarcia · 2026-10-14
- Gemini 4 大幅领先登顶 RareBench 与 LabBench,超越此前冠军 Opus 5.5 — sahandsharif · 2026-10-14
- Muse Wonder 发布引热议:「big model smell」指标首次亮相,剑指刷榜模型 — alexandr_wang · 2026-10-14
- 实测 14 个语音 agent：背景开台电视，任务完成率 38.7% 跌至 8.6% — solyarisoftware · 2026-10-14
- 6 天 4 万美元算力：GPT-5.6 Sol 找到 Chrome 关键漏洞 — gdb · 2026-10-14
- Muse Wonder 早期实测：无性格退化，还顺手修出优雅 UI — alexandr_wang · 2026-10-14