DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems
Xialie Zhuang, Mingcong Lei, Zunhai Su, Ri Liu, Jianjin Li, Peixian Ma, Jia Pan, Ngai Wong, Guanhua Chen, Chuan-Wei Kuo
cs.AI
2026-10-21
DecisionPivot 用 13 个任务族、7,800 道程序可验证的对照题，评了 40 个决策模型。公开集分数只差 2.6 分的两款 27B，整组判对的比例是 70.1% 和 44.2%。
decision model 不写长答案。它读状态、问句和一组选项，给每个选项一个概率。路由、护栏、输出校验和 agent 的目标判断，都靠一次前向完成，拿不准再交给大模型。
公开集总准确率看不出关键事实翻转后决定变不变，也看不出分数是否被表面线索抬高。llmbar 上不看正文的规则拿到 73.0%，随机基线 50%。对照题只改一个关键事实，模型可以两题都选同一选项，单题对一半，整组算错。训练文档通常只写到数据源。
DecisionPivot 用同一接口测两条轨道：状态、带类型的问题、有序选项，取得分最高的选项。缺预测记为错。
核心轨道 13 个任务族，每族 600 题，共 7,800 题，三个难度各 200 题。生成器抽样并算出答案，再改一处决定性细节，让正确选项翻转，干扰项不动。阈值题贴着边界做，总价差一分钱就从允许变成拒绝。policycase 不翻转同一案例，而是让不同结局共享一条政策。没读过生成器的人另写求解器，每个族 600 道金标全部一致。7,800 题至少两人复审。只看选项或篇幅的探针接近随机。只核对工具 schema，toolcallvalid 的单题准确率仍有 91.7%。
七类角色覆盖作答与路由、策略护栏、输出核验、agent 的工具和目标，以及条款、依赖、账目勾稽和约束匹配。参照轨道是 35 个公开集、32,233 题，保留原指标。参照分先做随机校正，再按七层平均。合计 48 个任务、40,033 题。作者的 27B 训练集撞上的 3,016 道参照题（8.5%）已删除，其余模型只标数据源。
题组准确率要求组内每题都对。yes/no 一对都猜 yes，单题 50%，题组为 0。乱猜基线是单题 39.6%、题组 16.1%。pair direction 只比较正例和负例的 yes 概率，不要求跨过 0.5。5% 选择性覆盖按置信度从高到低收题，留下经验错误率不超 5% 的比例，用标签事后计算，阈值按任务族分开。
40 个决策模型按各自接口评测，表中核心分在 13 个任务族上先各自计算再平均。另有 11 个开源通用模型和 3 个 API 模型。表里前两名是基准作者 StartLux 的 SL-27B。AutoThink 只在单次前向最高概率低于 0.9 时补一段推理。
| 模型 | 参照分（0=随机） | 题组准确率 | 单题准确率 | 5% 错误覆盖 |
| SL-27B AutoThink | 58.9 | 86.9% | 94.0% | 93.8% |
| SL-27B Instant | 59.4 | 75.4% | 86.4% | 79.6% |
| Decision 3.0 d3 | 56.7 | 71.3% | 83.9% | 75.1% |
| Perplexity Decider v1.1 | 57.0 | 70.1% | 83.4% | 72.3% |
| JEV-27B | 54.4 | 44.2% | 70.3% | 34.8% |
| Kev 27B | 54.0 | 44.2% | 70.6% | 35.2% |
| 均匀乱猜 | 0 | 16.1% | 39.6% | 未报 |
Perplexity Decider 与 JEV-27B 的参照分是 57.0 对 54.4，题组准确率是 70.1% 对 44.2%。八个模型两条轨道排名的 Spearman ρ 为 0.88，参照分拉开 11 分，题组准确率拉开 74 个百分点。40 个模型里 19 个题组准确率低于 16.1%，难度 3 上有 30 个低于此线，缺预测也算在里面。Decider 在 policycase 上为 97.5%，在五选一的 triageorder 上为 33.8%。
2,400 对二元对照上，Decider 有 92.3% 把正例概率排在负例之上，两题都判对只有 74.1%。Clef 27B 排序 78.6%，两题都对 25.0%。运费 24.03 与 24.05 克朗、限额 500.84 那一对，Decider 给出 0.86 和 0.84，方向对，两个都是 yes。事后在这些对上选一个全局阈值，两模型只到 74.2% 和 30.6%。
Kev 与 JEV 的单题准确率是 70.6% 和 70.3%。置信度不低于 0.90 时，Kev 准确率 93.8%、占题目 34.1%，JEV 准确率 88.9%、占 47.4%。5% 错误覆盖，Kev 与 JEV 为 35.2% 和 34.8%，Instant 和 Decider 是 79.6% 和 72.3%。
难度 1 到 3，Decider 的题组准确率从 87.7% 降到 57.4%，Instant 从 90.7% 降到 65.3%，AutoThink 从 89.2% 降到 82.2%。图中四个单次前向模型在总价和最低折扣对照上最多 5%，AutoThink 为 57% 和 76%。当前时间对照上，前者是 0%，AutoThink 是 85%。
1,296 题上，GLM-5.3 高推理设置 93.5%（95% 区间 91.7 到 95.3），最低设置 81.5%（95% 区间 78.4 到 84.6），推理从每题 121 token 增到 265，最低档仍有隐藏推理。同子集 AutoThink 85.9%，Instant 75.6%，Decider 70.4%。全量上 AutoThink 题组 86.9%、参照 58.9，Instant 是 75.4% 和 59.4。对照题涨了，公开集总分没有跟着涨。
路由和护栏要的是关键事实一变、决定跟着变，而且高置信的那部分真对。公开榜上两三分做不到这个区分。
错误预测里置信度不低于 0.90 的比例，Instant 是 14.6%，Decider 是 33.2%，护栏更在意后者。没有植入问题的案例上，Kev 为 56.5%，Clef 为 32.7%；有植入问题时是 77.5% 和 76.7%。Decider 两边都是 80.9%。误拒和误放会偏到不同一侧。
SL-27B 和 DecisionPivot 是同一团队。Instant 参照分 59.4，比 Decider 高 2.4 分，95% 配对区间 1.6 到 3.2，七层里六层的点估计更高，有的层区间含零。题组领先不能当成独立复现过的排名。
范围停在书面题，没有端到端、多语言和速度。难度同时加大篇幅和规则复杂度。覆盖率是回顾式的，上线要另做校准。同生成器再抽 4,200 题，34 个模型排名 Spearman 0.994，32 个模型的分数变化区间含零。再抽一次稳，换一套出题设计没有测。论文写明需要第三方评测。GLM-5.3 的高低档还换了采样和输出预算，低档是 temperature 0。
低于乱猜的 19 个模型混有输入截断，垫底不全是能力差距。1.0 版输入扰动里，题组准确率只在 -2.2 到 +2.2 个百分点之间，自然措辞最多改掉 20.7% 的预测。AutoThink 再跑一次，题组 87.2% 对 86.9%，单题改了 5.6%。总分稳、逐题不稳，在修订后的 1.1 上没有重测。参照集上 llmbar 的内容盲基线仍是 73.0%。