Artificial Analysis 发布 Decision Index v2.1,六项评测量化模型决策能力
ArtificialAnlys · x · 2026-11-14
Artificial Analysis 推出 Decision Index v2.1,一个综合基准,衡量「决策模型」在文档决策与信息抽取、工具调用、知识、幻觉、推理和不变性等维度的表现。
六个子评测及权重:
- AA-Paperclip(30%):1500 份简历、收据发票和研究论文,每份文档包含 15 个需决策的答案,考察综合决策与抽取
- EvalSafe-ONET-AA(15%):基于 TypeSafe 的 ONET 基准,考察对职场文档的判断
- When2Call(10%):NVIDIA 的工具调用评测
- AA-Omniscience-Decision v1.1(15%):由知识/幻觉基准改造的私有数据集
- HLE-MultiChoice v1.1(15%):Humanity's Last Exam 的纯文本选择题,模型可选择拒答
- AA-Symmetry v1.1(15%):检验决策在选项移位、改写或问题取反时是否保持一致
该团队表示将持续迭代这一指数,帮助开发者和企业理解这类新兴模型,完整结果可在其官网查看。
所属事件:Artificial Analysis 发布决策指数，六项评测量化模型决策能力(2 条相关)→
「研究」频道最新
- AWS 提出 MixUA：多用户多智能体记忆按 GLOBAL/USER/AGENT 三级分域共享 — AWS · 2026-11-14
- 基准测试的“Y 轴问题”：多数 AI 评测单位其实是假的 — JacquesThibs · 2026-11-14
- Benchmark Almanac 收录 3322 个基准与 1746 个榜单,一站式追踪评测生态 — karinanguyen · 2026-11-14
- NeurIPS 新基准 NarrativeBench:LLM 难覆盖多语言叙事全貌 — anas_ant · 2026-11-14
- TurboPairFormer 开源核将 OpenFold3 训练提速最高 1.73 倍 — MoAlQuraishi · 2026-11-14
- 微软研究员仅改 7 个神经元即可给 AI Agent 埋下定时后门 — DimitrisPapail · 2026-11-14