字节研究揭示 on-policy 蒸馏盲区:分布外能力仍落后基座模型
ByteDance · hf · 2026-11-05
字节跳动联合多所高校发布论文，系统检视 on-policy 蒸馏（OPD）与多教师蒸馏（MOPD）在 RL 后能力巩固中的泛化局限。
核心发现
- 尽管分布内（IND）蒸馏成绩接近教师（达教师 IND 分数的 96.04-102.73%），分布外（OOD）成绩反而比基座模型低 2.45-16.25%，说明教师泛化能力并未完全转移。
- 在数学推理、编码、agent、长上下文三类组合泛化测试中，MOPD 的组合任务 OOD 表现比最强教师低 18.19-24.34%。
- 从更新几何角度分析：相比 RL 基线，蒸馏带来的参数更新更小、频谱更集中，MOPD 下更新结构更共享。
改进方案
提出 geometry-based patching 与 base-preserving replay 两种方法，在基本保持 IND 性能的同时改善 OOD 表现；联合缓解教师能力与数据覆盖两个瓶颈可消除实验中的 OOD 遗忘。研究指出基于（M）OPD 的能力巩固存在盲区，需要显式支持 OOD 保持与泛化的算法。
「研究」频道最新
- ODE Policy 让机器人学「动作如何演化」，成功率提升至 5.9 倍 — micoolcho · 2026-11-05
- TurnWise 用回合级信用分配改进流式视频理解 RL — Shuai Dong · 2026-11-05
- 中科院研究揭示多轮 Agent RL 增益依赖交互预算 — CASIA · 2026-11-05
- LoopVQ 实现 0.25bit KV 缓存量化,吞吐提升最高 6.1 倍 — SeoulNationalUniv · 2026-11-05
- 腾讯混元 EmoReward:自进化奖励校准驱动情感视频生成 RL — Tencent-Hunyuan · 2026-11-05
- 多智能体自创方言传 ASCII：tick 12 出现 4 字节 ID+12 字节文本，还互相问「ARE YOU LLM?」 — repligate · 2026-11-05