字节论文：策略蒸馏后学生泛化落后最优教师 18-24%

字节跳动联合多所高校发布论文《On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation》，系统检视 on-policy 蒸馏（OPD）与多教师蒸馏（MOPD）在 RL 后能力巩固中的泛化局限。研究发现尽管分布内表现良好，学生的分布外能力仍落后于基座模型，与最优教师相比差距达 18-24%。

2026-11-05 ~ 2026-11-06 · 2 条相关