DecisionPivot：4 万条目基准揭示单题准确率掩盖智能体决策差距
RexDouglass · x · 2026-10-26
HuggingPapers 介绍的 DecisionPivot 是一个诊断型基准，含 48 个任务、40,033 个条目，核心发现：仅看单条目准确率会掩盖 LLM 决策模型之间的巨大差异。
- 设计思路：用「对比对」(contrast pair)测试——同一任务的两条 trace 仅步骤顺序不同，决定目标条件是否最终满足；模型需逐条判断并给出配对一致的正确结论。
- 图中结果：在公开测试集上各家 27B 决策模型得分接近（52–59），但在 DecisionPivot 的配对准确率上差距拉大（25–87）；「5% 错误率下的覆盖率」指标从 14 到 94 不等。
- 典型失败：Perplexity Decider v1.1 对两条 trace 都以 1.00 概率答 yes，完全没察觉步骤交换导致目标失败；SL-27B AutoThink 表现最好（配对 87、覆盖率 94）。
结论：评估智能体/决策模型需要配对一致性与错误率约束下的覆盖率，单条目准确率是不充分指标。
「编程与Agent」频道最新
- 开源天空相机让 Claude Code 自主值守：一夜抓 17 颗流星并自动筛完 — Terrible_Award_2124 · 2026-10-26
- 用 AI 写 6000 个黑盒测试复刻 OpenSearch：Rust 版已过 64.5% 测试 — Strong-Mousse-1020 · 2026-10-26
- 全本地开源模型做出 10 分钟动画剧集，单集仅需约 4 GPU 小时 — Zangetsu__0 · 2026-10-26
- 即便开启 Daybreak，模型请求漏洞分析仍被网络安全风控拦截 — jd_pressman · 2026-10-26
- Bambi 线性建模库悄然支持非线性模型,作者发文详解用法 — twiecki · 2026-10-26
- 开发者用 Claude 编排 Agent 五天，作曲并渲染 3D 钢琴家日落湖畔演奏 — 141_1337 · 2026-10-26