S1CogBench: What System One Decision Models Can and Cannot Do on Cognitive Experiments
Dengzhe Hou, Kazunori D Yamada
cs.CL, cs.AI, q-bio.NC
2026-10-31
24 项经典认知实验评 8 个 System One 决策模型:Nox 领先 18 项,但多个模型在信息搜索任务第一步就停,自主高分也预测不好人类选择。
Jev、Laya、Intern-Decision 代表一类新模型:不生成自由文本,一次调用直接返回一个带类型的决策,供软件直接执行。这类模型已经进了路由、guardrail 和自动门禁,在大系统里会被调用成千上万次。typed interface 只保证输出好执行,不保证决策用了该用的证据:模型可以返回格式漂亮的分布,却忽略反馈、过早停止搜索,而且没有留下生成文本供人检查。closed-loop 评测显示这类小模型普遍失败,却定位不出坏在哪条认知需求上;认知实验逐项操纵信息、不确定性、记忆负载和未来机会,恰好能做这个定位,而现有认知 benchmark 只覆盖语言和多模态模型。S1CogBench 是第一个把 System One 决策模型放上经典认知实验的 benchmark。
24 个任务全部来自已发表实验(WCST、Horizon、RLWM、Mouselab、two-step 等),归成十个域;WCST、Horizon、Mouselab 各有「预测人类」与「自主执行」两种模式,合计 27 个评测模式。每个决策点上,adapter 把参与者当时可见的状态、历史和合法选项喂给模型,模型返回选项上的分布。三个设计决定分辨力:
对照是 Uniform(选项等概率)和任务级 Reference(人类数据拟合模型或解析解)。跑满全部 168 个「任务×模型」组合的七个开源模型:四个 System One 决策模型(Laya、Intern-Decision-4B、Nox-4B、CLM-8B),加 Qwen3.5-4B、Llama-3.1-8B 和在 Psych-101 人类行为上微调的 Minitaur-8B。API 侧 Jev 跑满 27 个模式,Claude5.5 因成本只跑部分任务。
差距大。26 个性能目标上(原始 readout),没超过 Uniform 的数量:Laya 17 项、CLM 13 项、Llama 11 项、Minitaur 7 项、Qwen 6 项、Intern-Decision 和 Nox 各 3 项;Nox 在 18 项上领先开源模型。Intern-Decision 对自己的 Qwen3.5 backbone 有 19 项可靠更好、2 项更差,结构化决策微调有真实收益。
会做题和像人是两回事:
| 模式 | 自主执行 | 预测人类 NLL |
| Nox(WCST) | 32.1%,开源最高,人类 50.0% | 1.552,差于 Uniform 的 1.386 |
| Minitaur(WCST) | 25.2% | 1.344,开源最好 |
| Qwen(Mouselab) | reward 17.40,接近全揭示的 17.55 | 2.464,差于 Uniform 的 1.634 |
Jev 在 RLWM 按人类历史作答拿 89.5%,贴近同参与者拟合 reference 的 89.3%,但它只报两位小数概率,九个预测目标里五个 NLL 无穷。
主动搜集信息是最普遍的短板:Mouselab 里 Intern、Laya、Minitaur、CLM 在全部 23,750 个 episode 第一步就 STOP、零 reward,Nox 和 Llama 翻一个节点就停。STOP 恒为第一个选项,作者承认位置偏差没有排除。
对条件变化的反应普遍弱于人类。Horizon 从 1 变 6,人类多选 10.00 个百分点去探信息少的臂,八个模型只挪 -0.49 到 2.62 点;RLWM 里 Nox 准确率 86.30%,记忆集合从 2 到 6 只掉 4.84 点,人类掉 12.74 点,而 Intern 的学习曲线十次重复提升 61.49 点、超过人类的 46.35,供给的历史被用了,用法与人不同;Restless bandit 里 Minitaur 800 个 trial 全选同一条臂,报的概率却在 0.56 到 0.93 间波动。WCST 低分不赖文本格式:Claude 带 adaptive thinking 在 74 个共同决策上拿 63.51% 到 66.22%,开源模型 18.92% 到 43.24%,任务在文本形态下也能从反馈里学。
延迟结论实用:Horizon 自由文本生成中位数 Llama 2.958 秒、Qwen 16.330 秒,直接决策 36.97 和 51.66 毫秒,慢 80 到 316 倍;Llama 自由文本在 WCST 还更差(25.9%,含 2,217 个无效响应;直接决策 31.4%)。匹配输入下 one-token 生成只慢 0.24% 到 2.02%;同尺寸的 Intern 与 Qwen3.5 无速度差,结构化微调不送提速、也不收延迟税。
往自动决策系统里接这类模型前,这份结果是体检清单:自主高分不说明会搜集信息、会随反馈调整,也不说明能预测人怎么选。三个可用的判断:结构化微调值得做,Intern 对 backbone 19/26 占优且速度无损;readout 是部署的一部分,换动作提取规则可反转排名,要和模型一起锁定;要长答案才付生成的钱,直接决策便宜两个数量级。条件效应和学习曲线这类认知画像,也比单一分数更能定位训练目标该改哪里。
作者自述:只有 24 个任务和 5 个 System One 模型;任务做了文本化等适配;架构、容量、训练数据、输入保留混在一起变,归因不到架构;Minitaur 的微调数据与 Horizon 等八个模式同源,预测分数属 in-distribution;API 模型设置不可比。另有两处要保留:Nox 从 Qwen3.5-4B-Base 微调,评的 Qwen3.5-4B 却是 posttrained 版,这对不构成 backbone 对照,「微调有效」只剩 Intern 与 Qwen 一对支撑;接口与退化行为也在污染分数,Laya 的 SDK 把概率舍到四位小数,192 个人类选择拿到零概率,Minitaur 在 330 道非字面数字题里 319 道都报 50%。