2,383 人实验:AI 家教 GRE 学习效果与人类专家持平,成本低 918 倍
handshake-ai-research · hf · 2026-09-24
handshake-ai 发布 StudentBench,一套 AI 教学评测套件与公开平台(已积累超 17.5 万条学生-AI 对话),系统研究 LLM 家教能否达到人类辅导的学习增益。
主要结果:
- 2,383 名参与者分别接受 AI 家教、人类家教或不辅导,在 GRE 数量与语文题上的学习增益显示:AI 家教与专家人类家教统计学等价(p=.015);七个 GRE 领域中有五个领域表现最好的 AI 家教平均超过人类。
- 成本差距惊人:最佳 AI 家教每个百分点增益成本仅 $0.0052,人类为 $4.81,低 918 倍。
- 第二项研究中,专家通过 2,028 次成对评分评估 LLM 生成的教案与练习题,两个研究在教案设计、练习题创作、对话式教学法、成本和参与度五个维度上清晰区分了各 AI 家教。
- 数量 GRE 会话中,AI 回复越快,学生发消息越多、练习正确率越高、学习增益越大(均 p<.002)。
平台已在 studentbench.org 免费开放。
「应用」频道最新
- Liquid AI 携手高通:个人上下文层 Liquid Context 落地骁龙芯片 — JosephJacks_ · 2026-09-24
- 开源自托管网管工具 LAN Orangutan 上 GitHub 热榜 — tom_doerr · 2026-09-24
- 开发者开源 Grokbot 平替:本地跑任意模型,云端版已获首批付费用户 — hamed-devs · 2026-09-24
- Pokee AI 携手 Google:一句话从想法生成完整 Shopify 店铺 — Kyrannio · 2026-09-24
- 一天迭代出《桃花源记》3D 网页,开源且只耗订阅额度 10%-15% — dotey · 2026-09-24
- Rabbit 推 199 美元 Tamagotchi 式 AI 伴侣,引发谁先谁后之争 — SimonBalmain · 2026-09-24