On-policy 蒸馏图解：teacher 按逐 token 给学习信号
helloiamleonie · x · 2026-09-25
Leonie 用例子讲解 on-policy distillation（OPD）：把学生模型自己的轨迹喂给 teacher 模型，teacher 基于自身概率对每个 token 打分，衡量它对学生各步的「惊讶程度」——例如对学生从加法开始不惊讶、对中间结果和最终结果非常惊讶。相比稀疏的验证奖励，这为学生模型提供了更密集、更丰富的学习信号。
所属事件:Liquid AI 发布 LFM2.5-2.6B 并公开端侧 Agent 后训练配方(11 条相关)→
「研究」频道最新
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- CoRL 热议「agent 太慢」，研究者拆解出三种截然不同的批评 — tomssilver · 2026-11-11
- 形式化验证让 AI 编码更快：Lean 证明成为 agent 优化护栏 — bigdata · 2026-11-11