字节论文:策略蒸馏后学生泛化能力落后最优教师 18-24%
brandondamos · x · 2026-11-06
字节跳动与多所大学合作的论文《On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation》发现 (M)OPD 的盲点：学生模型在分布内蒸馏成绩接近完美，却可能无法继承教师的泛化能力。
- 在数学推理、编程、agent、长上下文等外推设置下，OPD/MOPD 仅保留教师 IND 分数的 96-102.73%，但分布外成绩仍比 base model 低 2.45-16.25%。
- 组合任务上，IND 提升，但 OOD 仍落后最佳教师 18.19-24.34%。
- 分析指出教师能力与数据覆盖是两个瓶颈；联合缓解可消除 OOD 遗忘，MOPD 相比 RL 基线平均减少相对遗忘。
- 提出基于几何的 patching 与保底回放（base-preserving replay）来改善 OOD 表现。
所属事件:字节论文：策略蒸馏后学生泛化落后最优教师 18-24%(2 条相关)→
「研究」频道最新
- UBC 等发布 Solv3R:把循环 Transformer 变成可复用的 3D 几何求解器 — CSProfKGD · 2026-11-06
- Discovery Loop 成员发起 $DISCODEV 个人实验：开源 AI 材料发现闭环 — arkitus · 2026-11-06
- 西北大学团队用普通智能手表读取手势与肌肉信号 — realkaranahuja · 2026-11-06
- 三人各自瞎摸四周算研究?网友吐槽 Bing Chat 提示词论文 — Sauers_ · 2026-11-06
- 注意力内核遇上真实模型：可解释性与系统研究的交集 — QuentinAnthon15 · 2026-11-06
- MoE 预训练 All-to-All 通信占训练步 60%,新方法削减 58% 分发行 — QuentinAnthon15 · 2026-11-06