StudentBench: AI and human tutoring yield equivalent GRE learning gains
Curtis Northcutt, Inaara Hasmani, Kevin Feng, Trevor Khangi, Andreas Plesner, Jonas Mueller
cs.AI, cs.CY
2026-09-24
Handshake AI在2383名学生的GRE前后测对照里证明，合并后的AI辅导与专家真人学习增益等价；Gemma 4 31B每百分点只要0.0052美元，约便宜918倍。
LLM 榜单几乎都在测模型自己会做什么。Handshake AI 这篇反过来问：给学生一小时，现成大模型能不能把人教到和真人导师同等的增益。标的是 GRE。定量 27 题 47 分钟，语文 27 题 41 分钟，题目由前 ETS / Kaplan 命题人新写，避免模型背过旧题。后测是另一套同构卷，模型全程看不到后测。
作者把这件事放进「递归人类自我改进」的第一条件：教学技术先要能提高人的能力。实验设计刻意少脚手架，只用两套低引导 prompt（备课出题、即时对话），优先量模型本身的教学能力。
2,383 名学生、2,469 场有效会话，来自 Handshake 上约 7 万随机邀请。前测后随机进入 AI 辅导、真人一对一视频辅导、或看与 GRE 无关的教育视频。AI 条件内 13 个导师（12 个模型，Opus 4.8 开 / 关推理各算一个），学生不知道分到哪家。导师能看到前测错题，不能看后测。分析用 ANCOVA 调前测分数；AI 与真人的等价用 TOST，界是学习增益的 \(\pm 0.25\) 个合并标准差（合起来约 \(\pm 4.09\) 个百分点），90% 置信区间必须整段落在界内。
第二项研究请 51 位专家导师，基于 381 份前测做 2,028 次成对评分，拆开备课和练习题。对话教学用六条固定文本规则扫 1,971 场 AI 和 135 场真人转写。成本按会话推理费；真人按每小时 75 美元市价折。平台、数据和代码公开，会话合计超过 17.5 万条学生–AI 消息。
合并定量和语文，AI 全体与真人等价（\(p=.015\)），AI−真人差 −0.58 个百分点（90% CI \([-2.18, 1.03]\)），更紧的 \(\pm 0.20\) SD 界也过了（\(p=.023\)）。按科看，定量等价成立，语文不成立：真人在语文整科均值上仍最高。相对无辅导对照，AI 调后增益定量 +6.86、语文 +5.47、合并 +6.15 个百分点，大约多对 1.5–2 题。
| 条件 | 场次 | 调后学习增益 [95% CI] |
| Opus 4.8 (x-high) | 158 | 16.0 [13.7, 18.4] |
| GPT-5.5 Pro (med) | 162 | 15.7 [13.4, 17.9] |
| Gemini 3.1 Pro (high) | 165 | 15.4 [13.1, 17.8] |
| 真人 | 140 | 14.9 [12.4, 17.3] |
| Gemma 4 31B (high) | 159 | 13.1 [10.7, 15.5] |
| 无辅导对照 | 190 | 7.8 [5.8, 9.7] |
七个 GRE 领域里，最强 AI 的领域均值有五个高于真人。六个模型单独通过与真人的等价检验。其中 Gemma 4 31B 场均推理费 0.067 美元，每百分点增益 0.0052 美元，对照真人的 4.81 美元，约 918 倍。GPT-5.5 Pro 场均 21.24 美元。Gemini 3.5 Flash 与 GPT-5.5 Pro 增益接近，费用约低 20 倍。
专家更喜欢 Anthropic 的备课和出题。学生给 GPT-5.4 mini 的定量练习答案提出异议的比例最高，约 11%；专家出题分高的模型，学生异议更少。对话规则按模型家族成簇，像是公司训练习惯而不是单个 checkpoint。定量课上，更快回复对应更多学生消息，更多消息对应更多一次做对的练习，更多做对对应更大增益（均 \(p<.002\)）；语文这条链不显著。延迟从 GPT-5.4 mini 的 1.9 秒到 GPT-5.5 Pro 的 31.0 秒。
Bloom 的 2-sigma 问题问的是：一对一辅导的好处怎样变便宜。这篇给了一个可核对的对照：在 GRE 这种高 stakes、即时后测的设置里，低脚手架的通用 LLM 已经能把平均增益拉到与专家真人不可区分，最便宜的开源权重模型把每百分点成本打到百分之一以下。榜单该加一列「把人教到什么程度」，而不是只报模型自己的分数。
等价的是合并后的平均增益，不是每个模型、每门课、每种学生。语文仍是真人的场，备课榜和增益榜也对不齐：Opus 备课强，Gemma 增益够用且极便宜。延迟可能是被低估的教学变量。
只测了当次后测，没有数月后的保持。没有「自己做 GRE 练习、不对话」的对照，所以分不清增益有多少来自对话、多少来自做题本身。真人是视频通话，AI 是打字聊天，对话规则分数不能跨模态比。样本是能读写英语、用 Handshake、参加有偿研究的成人，没有跨语言或教室部署。图 3 的教学榜来自专家偏好和规则计数，不来自学习增益。单个模型的等价检验未做多重比较校正。作者把结果称为 RHSI 的第一条件，后两个条件（人变强之后更会用工具、从而继续变强）这篇没有测。