Allen AI 发布 TutorMoments 评测：LLM 辅导常过度代劳
allen_ai · x · 2026-10-13
Allen AI（Ai2）发布 TutorMoments-Preview 评测，检验 LLM 辅导老师是引导学生自己解题，还是替学生做太多。
方法
- 从真实数学辅导课中提取 520 个教师标记的关键时刻，一半需要「搭脚手架」（降低难度），一半需要「推向严谨」（要求学生更深入思考）
- 分数 = 模型在该做对的事时做对了、且未过度辅导的比例
- 对比两种提示：plain prompt 只说「好好辅导」；evaluation-aware prompt 明确写出脚手架与严谨的权衡
关键发现
- 评测 Astra、Opus 5.5 等前沿模型：总体上，详细提示（evaluation-aware）下的得分显著高于只说『tutor well』
- 人类辅导老师在相同决策点得分：搭脚手架 0.458、适度严谨 0.182、避免过度辅导 0.496（数据集刻意集中了失误时刻，人类分数是自然参照而非上限）
- 核心洞察：LLM 被训练成「乐于助人的助手」，天然倾向直接给答案，而非用提问诊断学生需要什么支持
所属事件:AI2 发布 TutorMoments 评测：LLM 家教普遍过度代劳(5 条相关)→
「模型」频道最新
- 开源检索模型 UIBK-Embedding-v1:179M 参数登顶 BEIR 亚 1B 榜 — antoine_chaffin · 2026-10-13
- LiquidAI 发布 d1 系列 MLX 版本，原生适配 Apple Silicon 本地运行 — JosephJacks_ · 2026-10-13
- 爆料：Zuckerberg 每月前 15 天发新版 Muse，版本指数级变强 — haider1 · 2026-10-13
- 一年 1 万次提交,Muse Wonder 被指是真写代码的强模型 — ren_hongyu · 2026-10-13
- 博主曝 Meta 新模型 Watermelon 早期体验:编码可自写自检 — kimmonismus · 2026-10-13
- AI 研究者预言:真理与道德将从抽象概念变成数学产物 — ryunuck · 2026-10-13