Artificial Analysis 发布决策模型指数 v2：Mammoth 27B 逼近 GPT-6 Luna 且快 118 倍
ArtificialAnlys · x · 2026-11-09
Artificial Analysis 发布 Decision Index v2，用于衡量「决策模型」在文档决策与信息抽取、工具调用、知识幻觉、推理与不变性等维度的表现，由六项评测加权构成：AA-Paperclip（1500 份简历/收据/发票/论文的决策与抽取，权重 30%）、EvalSafe-ONET-AA（15%）、NVIDIA 的 When2Call 工具调用评测（10%）、AA-Omniscience-Decision（15%）、HLE-MultiChoice v1.1（15%）和检验答案对题目重排/改写稳健性的 AA-Symmetry（15%）。速度方面，Celeris-1.1 Decision 每任务仅 56 毫秒，Elephant 9B 70 毫秒、Jev 1.14 92 毫秒，而 Claude Haiku 5.5 (Max) 需 32.65 秒；Mammoth 27B 在指数上与 GPT-6 Luna (Max) 相差不到 4 分，但速度快 118 倍。团队表示将持续扩展该指数，帮助开发者判断何时该用决策类模型。
所属事件:Artificial Analysis 发布决策模型指数 v2，防刷榜更贴近真实效用(2 条相关)→
「模型」频道最新
- Reddit 讨论：生产环境为何选开源权重模型而非 API — allenling · 2026-11-09
- 曝谷歌筹备 Gemini 4 全系列模型，代号 Krypton — ThePrimeNumbers · 2026-11-09
- Reddit 热议:为何大家还在用 Qwen3 而非更新的 3.5 系列 — opUserZero · 2026-11-09
- AMD CEO：Meta Muse 45 天激活用户破千万，AI 采用曲线前所未见 — rohanpaul_ai · 2026-11-09
- 65B 模型塞进单卡：Ripple 65B NVFP4 在 SGLang 上的部署配方 — HankYeomans · 2026-11-09
- DSpine 让 Qwen3.8-27B 推理提速至 94-132 tok/s，超 DFlash2 约 1.75 倍 — pbaylies · 2026-11-09