CogGym: Towards Large-Scale Comparative Evaluation of Human and Machine Cognition
Lance Ying, Jinzhou Wu, Yingshan Susan Wang, Shivam Aarya, Luca M. Schulze Buschoff, Harry Chen, Katherine M. Collins, Andrea de Varda, Shuhao Fu, Sean Dae Houlihan, Akshay K. Jagadish, Guangyuan Jiang, Samuel Kiegeland, Tetsu Kurumisawa, Rongzhi Liu, Ryan Liu, Ningshan Ma, Kathryn McGregor, Younes Strittmatter, Polina Tsvilodub, Jacob Hoover Vigly, Sarah Wu, Enjie Xu, Yiling Yun, Kelsey Allen, Tyler Brooke-Wilson, Brian Christian, Evelina Fedorenko, Michael C. Frank, Michael Franke, Tao Gao, Samuel J. Gershman, Robert D. Hawkins, Jennifer Hu, Julian Jara-Ettinger, Max Kleiman-Weiner, Sydney Levine, Tal Linzen, Hongjing Lu, Timothy O'Donnell, Desmond C. Ong, Steven T. Piantadosi, Rebecca Saxe, Eric Schulz, Tianmin Shu, Felix A. Sosa, Ilia Sucholutsky, Tan Zhi-Xuan, Tomer Ullman, Fei Xu, Ilker Yildirim, Jian-Qiao Zhu, Thomas L. Griffiths, Tobias Gerstenberg, Kevin Smith, Joshua B. Tenenbaum
cs.AI
2026-09-18
把 258 个认知科学实验标准化后测 50 个大模型:与人类判断拟合最高 R² 仅 0.59,人类自一致性是 0.93,视频模态更跌到 0.43。
「大模型像不像人」这个问题吵了很多年,结论对不上:一批研究说模型能复现人类的经典偏差与效应,另一批说模型在简单物理直觉任务上系统性翻车。各家用各自的设置、各测三五个模型,固定时点的小规模对比很快过时。
底层是个工程问题。几十年的认知科学实验散落在 Qualtrics、jsPsych、PsychoPy、MATLAB 等互不兼容的框架里,大量仓库年久失修;已有的聚合工作靠人工转换,基本只覆盖文本,也很少校验转成 prompt 后指令与刺激是否忠于原实验,而转换走样会系统性扭曲人机对比。CogGym 由 MIT、哈佛、斯坦福等机构 50 多位研究者联合 30 多个实验室共建,做的就是这块基础设施:把认知实验变成可复用、可复跑、可校验的装置。
流程分三步。
首批收入 100 篇论文的 258 个实验(文本 91、图像 82、视频 85),覆盖心理理论、因果推理、道德判断、语言语用、物理推理等主题,受测模型为 2024 年 4 月至 2026 年 4 月发布的 50 个闭源与开源模型。
| 模态 | 最强模型 R² | 人类 split-half R² | 全体模型均值 R² |
| 文本(91 实验) | 0.59 | 0.93 | 0.39 |
| 图像(82 实验) | 0.58 | 0.95 | 0.29 |
| 视频(85 实验) | 0.43 | 0.92 | 0.14 |
分三点看。规模效应存在:开源模型的 R² 随参数量上升(文本 r=+0.81),分布差异随参数量收窄;但控制参数量后,发布日期与文本、图像的对齐度不再显著相关,视频保留微弱正相关。同期这些模型在 GPQA Diamond、MATH、HumanEval 上已接近饱和,常识判断上的人类相似度却爬得很慢。视频是最深的坑:最强模型 R² 只有 0.43,分布差异 0.25,人类底线 0.07;分主题看,Gemini 3.1 Pro 在物理推理上最弱(图像均值 0.33、视频 0.24)。
两项自查排除了「低分另有原因」的解释。模型太强所以不像人?11 个报告准确率的实验里,人类 0.79、Gemini 3.1 Pro 0.73,差异不显著,且模型的相对准确率与人类相似度正相关(r=.72)。转换走样?抽 15 个实验在 Prolific 上招 521 人复测,复测数据与原始数据的 R² 达 0.84,Gemini 3.1 Pro 只有 0.62,低分来自真实的模型与人类分歧。污染方面,Gemini 3.1 Pro 能认出 16.57% 的源论文标题,但认不认得与对齐度没有显著相关。
主流 benchmark 测「答得对不对」,CogGym 测「答得像不像人」。做模拟用户、数字孪生、人机交互的人关心的正是后者:拿模型替真人做产品预研,前提是复现人类的分布式判断,现在看还远不够格,视频场景尤其不能信。
对训练侧,这篇标出了一个边界清晰的缺口:有可验证奖励的数学和代码一路狂飙,主观、无标准答案的判断(道德归责、语用解读)几乎没吃到训练红利,物理推理叠加视频是短板中的短板,与 PhysBench、PhyX 等物理 benchmark 的结论互相印证。定位也说清楚:CogGym 是测量基础设施加一份体检报告,不是方法突破,价值在于装置可持续加实验、复跑,把「像不像人」从口水仗变成可追踪的曲线。
作者自列三条:258 个实验只是起步;分析停留在汇总统计,还回答不了「模型缺哪种认知成分」;EML 只支持单轮非交互范式,重复博弈、多智能体交互、序列决策暂不支持。
读下来另有几处要留心:人类 split-half 只在 179/258 个实验上可算(需要个体级数据),参照线覆盖不完整;复测验证只抽了 15 个实验;污染检查靠模型自报论文标题,偏宽松;发布日期不显著的回归只用了开源权重模型,闭源模型的大小与日期完全混淆,「更新不一定更像人」对前沿闭源模型未必成立;模型重复采样分布过尖,分布对比靠让模型口头报分布,测的是模型对自身多样性的估计,不是真实采样行为。