AI2 构建 TutorMoments 评测:教师标注辅导时刻,考模型是否过度代劳
allen_ai · x · 2026-10-13
Allen AI 介绍 TutorMoments 评测的构建方法:由经验丰富的教师在数学辅导对话记录中标注出"该提供支持"或"该让学生多自己动手"的时刻,再让各前沿模型(含 GPT-6 Astra、Claude Opus 5.5 等)从这些时刻续写对话,并按教师判断打分。总体发现:模型在被给予详细提示词时的得分,普遍高于只被简单要求"好好辅导"的情况。
所属事件:AI2 发布 TutorMoments 评测：LLM 家教普遍过度代劳(5 条相关)→
「研究」频道最新
- 单参数模型在ARC-AGI-2拿满分：作者自认靠混沌理论作弊 — fkasummer · 2026-10-13
- TMLR 两天无理由 desk reject,本科生作者5个月心血无反馈 — Audaticreddit · 2026-10-13
- DUET 论文：评分器与 Agent 同步进化，Finance Agent 达 96.5% — dair_ai · 2026-10-13
- Base Labs研究:模型迭代学习新事实,旧知识为何被覆盖遗忘 — baseten · 2026-10-13
- 部署正成机器人策略后训练的运营层:干活同时收集真实世界 RL 数据 — paigeinsf · 2026-10-13
- J++ Lens 可解释性新方法:忠实读出率比 J-Lens 提升 55% — wesg52 · 2026-10-13