DecisionPivot 基准：4 万条数据揭穿决策模型高分低能

startlux-models · hf · 2026-10-21

StartLux 发布 DecisionPivot，一个面向 LLM 系统中决策模型（路由、护栏、输出校验）的诊断基准：核心轨道 7,800 条（13 类任务、对比组答案由独立求解器验证），参考轨道 32,233 条。评测 40 个决策模型与 14 个通用模型后发现总体分数掩盖巨大差异：两个在参考轨道仅差 2.6 分的 27B 模型，对比组准确率分别是 70.1% 与 44.2%；Perplexity Decider 在 92.3% 的二元对比对中能正确排序，但两组都答对的只有 74.1%，暴露概率排序与决策正确性的落差。同子集上 GLM-5.3 高推理档对比组准确率 93.5%，最低档仅 81.5%。