微软研究提出 LLM-as-a-Coach 训练不可验证任务
donglixp · x · 2026-07-22
微软研究提出了 LLM-as-a-Coach，试图解决不可验证任务上的训练信号稀疏问题。
- 论文认为，传统 RL 把开放式任务的丰富评估压缩成一个标量奖励，会丢掉很多细粒度反馈。
- 作者提出 Experiential Learning（EL）：把原本用于 LLM-as-a-Judge 的反馈模型改造成 LLM-as-a-Coach，将对每个回答的评价转成可迁移的“经验知识”。
- 这些经验知识再用于条件化教师模型，并通过 on-policy context distillation 被策略模型吸收。
- 论文声称，相比基于 rubric 的 RL，EL 能提供更密集的监督、保留高质量回答之间的细微偏好、在分布外泛化更好，并且更能缓解 reward hacking。
- 结果显示，EL 在两类策略模型上都优于传统 rubric-RL，反馈来源既可以是模型自身，也可以是专有模型。
所属事件:微软提出LLM-as-a-Coach以经验学习优化训练(4 条相关)→
「研究」频道最新
- MissionReport 基准：540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- Finch 1 发布：用 50+ 种传感器影像训练的通用地理空间基础模型 — Scobleizer · 2026-10-27
- Skyfall AI 推出工程世界模型 SKY-001:文本转 CAD 构建,3.9 秒 vs GPT-6 的 199 秒 — rohanpaul_ai · 2026-10-27
- 物理学家让 AI 自选课题：两小时产出可登顶刊的论文 — burny_tech · 2026-10-27
- 研究者谈评测集透明度:组合性评测仍存数据污染隐患 — najoungkim · 2026-10-27
- 可解释性研究该分清形式与估计器：均值差转向不如直接梯度下降 — johnhewtt · 2026-10-27