Pedagogical RL 相对提升最高 40%,MIT 团队教模型「学会走运」
lateinteraction · x · 2026-09-28
MIT、UMD、Notre Dame、UCF 研究者(Souradip Chakraborty、Noah Ziems 等,Omar Khattab 参与)提出 pedagogical RL 新范式,回应 on-policy RL 的采样瓶颈:传统 RL/在线策略蒸馏只把标注答案、执行反馈等特权信息用于评估 rollout,却不用来产生更好的 rollout——模型撞不出成功轨迹时,RL 直接停滞。
核心思路与做法:
- 定义 spike-aware pedagogy reward,RL 训练模型做「自我教师」,生成不仅正确、且每一步都对自身学习有信息量的轨迹
- 用 surprisal-gated imitation 把教师的引导吸收回学生模型
- 直觉:纯 on-policy RL 盲搜成功,pedagogical RL 学会「高效地走运」
实验:在两个推理任务上与 GRPO、on-policy self-distillation 及 off-policy self-distillation 等对比,学习速度显著更快,相对增益最高达 40%。作者称早期结果旨在鼓励社区跳出「只改 on-policy 目标函数」的思路。
所属事件:MIT 等团队提出 Pedagogical RL,较 GRPO 最高提升 40%(2 条相关)→
「漫话AGI」频道最新
- 重读马尔萨斯 1798 年预言:富人不婚不育与晚婚搁浅两百年未变 — SydSteyerhart · 2026-11-16
- Runway CEO 预测:全 AI 生成的文化现象级作品 2027 年前出现 — c_valenzuelab · 2026-11-16
- Reddit 热议:AI 能力曲线真是 S 型吗?天花板在哪没人说得清 — Successful-War-9050 · 2026-11-16
- 「一切贵 5% 却好 10% 的按钮并不存在」:劣化换低价已成行业常态 — eigenrobot · 2026-11-16
- 网友吐槽:有效利他主义并非草根运动,而是高度自上而下的层级组织 — ctjlewis · 2026-11-16
- 律师抱怨:AI 让当事人预期失真、引用假判例、动辄质疑律师 — hoofnagle · 2026-11-16