On-Policy Self-Distillation:自蒸馏方法比 GRPO 省 4-8 倍 token
burny_tech · x · 2026-09-13
UCLA、HKU 与 Meta 研究者（一作 Siyan Zhao）提出 On-Policy Self-Distillation（自策略自蒸馏）：让 LLM 在有特权信息（如正确答案或推理轨迹）条件下，对自己没有该信息的弱版本做逐 token 密集监督，相当于学生复习答案并纠正错误。
- 效率：相比 GRPO 达到 4-8 倍 token 效率，成绩同时超过 GRPO 与 SFT/Off-Policy Distillation
- 动机：SFT 有 exposure bias，训练分布与自回归生成不匹配易致错误累积；GRPO 需每题多次 rollout 且只有稀疏序列级反馈，全对全错时梯度消失
- 已发布博客、论文与代码
「研究」频道最新
- 新论文「Heads Of Security」：定位注入攻击注意力头并改写其模式 — jonasgeiping · 2026-10-31
- UMass 团队发布 BATv1：3429 个转录因子结合 ChIP-seq 模型图谱 — jmschreiber91 · 2026-10-31
- UCLA 推出 ChairNav：会学习乘客偏好的自主导航轮椅 — zhoubolei · 2026-10-31
- 合成数据重写该花多少算力？新研究用 scaling laws 给出答案 — ChengleiSi · 2026-10-31
- 花叔开源全球 11064 种鸟类贴纸库,AI 画图消耗超 10 亿 token — AlchainHust · 2026-10-31
- Epoch AI：AI 芯片算力年增 2.5 倍，增速较 2023 年明显放缓 — rohanpaul_ai · 2026-10-31