Allen AI开源TutorMoments基准，评估大模型辅导学生能力
allen_ai · x · 2026-08-08
Allen AI（Ai2）发布了 TutorMoments 基准测试，旨在衡量语言模型作为辅导老师的表现。该工具通过让被测模型与模拟学生互动，处理真实辅导记录中截取的关键时刻，并对生成的回复进行评分。
评估主要关注三个维度：
- 适当的支持 (Appropriate Scaffolding)：在需要时提供降低难度的辅助，且不过度干预。
- 适当的严谨性 (Appropriate Rigor)：在关键时刻适当提高认知要求。
- 避免过度辅导 (Avoids Over-Scaffolding)：防止模型给予过多提示。
Ai2 同步开源了脱敏的辅导记录标注数据、评分代码及回放数据。他们发现，在提示词中明确说明何时该帮助、何时该保留，能有效提升所有测试模型的得分，但不同模型在做出可靠判断方面仍存在巨大差异。
所属事件:Allen AI 发布 TutorMoments 基准评估大模型辅导能力(3 条相关)→
「研究」频道最新
- 实测 7 个 AI 引擎 150 个购买问题:博客被引 93%,Reddit 仅 10% — drrickio · 2026-10-16
- MIT AI 模型解码细胞通信语言，瞄准再生医学 — emmanuelvivier · 2026-10-16
- 视觉预训练模型做触觉预测有多难?机器人研究者激辩跨模态迁移 — KyleMorgenstein · 2026-10-16
- Tsallis 熵正则化最优 transport 统一 Monge 与 Sinkhorn 两大框架 — FrnkNlsn · 2026-10-16
- EPFL/DeepMind 研究者将线上讲解 Simplex Diffusion Models 论文 — ArnaudDoucet1 · 2026-10-16
- 美团 LongCat 团队发布 Data World：合成数据环境训练数据智能体 — meituan-longcat · 2026-10-16