阶跃发布 P²-MOPD:用参数先验加速多教师在线策略蒸馏
stepfun-ai · hf · 2026-11-09
阶跃星辰在 Hugging Face 发布 P²-MOPD 方法,针对多教师在线策略蒸馏(on-policy distillation)的加速问题。
核心思路:在 on-policy 蒸馏目标下联合优化教师混合系数与学生权重,让冻结的专家模型权重直接作为学生的参数先验(线性组合、可训练 α、对先验不回传梯度),端到端构建为一个可微模型。相比此前的 MOPD,恢复速度更快且更均衡。
「研究」频道最新
- 让 AI 在模拟市场对垒：对抗性训练催生人类想不到的猎食性交易策略 — Extreme_Leg_6162 · 2026-11-09
- Bernoulli Journal 开放投稿，强制填写 AI 使用声明表 — michaelchchoi · 2026-11-09
- François Fleuret：智能诞生于代际对话，蒸馏只是穷版替代 — francoisfleuret · 2026-11-09
- 字节 OneTrans-GSR:单一自回归 Transformer 统一重排与混排,A/B 提升 GMV 2.63% — ByteDance · 2026-11-09
- 开源 EOU 检测模型覆盖英语+8 种印度语言，语音 Agent 不再抢话 — martian7r · 2026-11-09
- 167 个错误答案证据齐全:Temporal RAG 实验揭示证据使用才是真瓶颈 — LowAd8593 · 2026-11-09