AI2 发布 TutorMoments:520 个真实教学节点测评 AI 家教,人类仅得 0.458
allen_ai · x · 2026-10-13
Allen AI 发布 TutorMoments-Preview 基准,评估 AI 家教在「何时该帮、何时该逼」上的表现:
- 数据来自真实数学辅导课中教师标注的 520 个关键时刻,一半需要「搭脚手架」(降低难度),一半需要「推一把」(要求更难的思考);
- 评分标准是模型在该时刻做出恰当动作且不过度代劳,人类家教同口径得分为 scaffolding 0.458、rigor 0.182、避免过度代劳 0.496——注意数据集刻意集中在人类也错失机会的时刻,应作参照而非上限;
- 发现:Claude Sonnet 5.5(低 effort)在教师建议让学生多自己算时表现最好;在明确的辅导指令下,GPT-6 Sol(无推理)总体得分超过 Claude Opus 4.8;
- 提供 explorer 体验,可对比模型与人类家教的回答,并查看响应时间与成本。
所属事件:AI2 发布 TutorMoments 评测：LLM 家教普遍过度代劳(5 条相关)→
「模型」频道最新
- Google AI 摘要再次翻车：坚称已故者没死 — lilyraynyc · 2026-10-13
- Claude Opus 看不了视频,用户用 GTA 游戏帧图硬核绕过 — adonis_singh · 2026-10-13
- 用户吐槽 Gemini Deep Research 今日网速极慢 — gaganghotra_ · 2026-10-13
- 用 RAID10 双阵列本地跑 GLM 模型：冷加载约 1 分钟 — TheZachMueller · 2026-10-13
- 实测对比:Opus 5.5 SVG 生成惊艳,Muse Wonder 落后前沿 3-6 个月 — scaling01 · 2026-10-13
- 同题实测:Muse 3D 生成远逊 Opus,却烧掉 $4.11 等值 token — iamaliveix · 2026-10-13