CogBattery:54 个开源模型对照人类认知任务的行为评测
Dengzhe Hou · hf · 2026-11-12
东北大学、Texas A&M 等机构发布 CogBattery 评测基准,将 54 个开源权重语言模型放到 13 种认知科学范式(n-back、决策、执行功能等)的文本改编任务上,与原始人类实验数据逐一对照。
- 核心发现:模型能复现人类效应的「方向」,却不意味着犯同样的错误或具备相似的信度校准
- 例如模型和人类一样对 n-back 诱饵反应更强,但模型在普通非目标刺激上产生多得多的虚报(false alarm)
- 论文指出此前研究各只覆盖少量范式和模型,这类「方向一致但错误模式不同」的差距此前不清楚
项目代码开源于 github.com/dengzhe-hou/CogBattery。
「模型」频道最新
- Tether 发布 0.8B 手机端 AI agent BotPsy,工具调用超 Qwen3.5-2B — mawcopolow · 2026-11-12
- Grok 4.8 被曝悄然灰度推送,部分 Grok Bot 用户已用上 — mark_k · 2026-11-12
- Seroter 每日阅读清单:Gemini 决策模型、Agent 记忆组件与企业 AI 现代化困境 — rseroter · 2026-11-12
- 博主实测后弃用 Fable 5.2:再聪明也受不了用第三人称谈论你 — PawelHuryn · 2026-11-12
- 前沿模型读生物医学影像近于瞎猜,小模型反便宜280倍 — gklambauer · 2026-11-12
- GitHub 现身 qwen4exp 提交,Qwen4 开发迹象被社区捕获 — kinetic_energy28 · 2026-11-12