StepFun 新作 P²-MOPD：仅用一半训练步数超越标准多教师蒸馏
teortaxesTex · x · 2026-11-12
StepFun 团队发布新论文 P²-MOPD（Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors），改进多教师在线蒸馏（MOPD）配方。
核心思路：过去任务算术（task arithmetic）只在冻结的学生与专家参数跨度内做合并；P²-MOPD 把学生与专家参数的线性组合视为一个端到端可微、可训练的单一模型，联合优化混合系数与学生权重——专家的 logits 监督学生行为，专家权重则作为可微的参数先验引导学生，且不将其限制在固定跨度内。
实验结果：在 1.7B 与 4B 规模、四个领域上，P²-MOPD 比同起点的 MOPD 更快达到更均衡的恢复率，仅用 50% 的训练步数就超越标准多教师蒸馏的最终效果；训练结束时 1.7B 模型平均恢复率达 94.7%，对比 MOPD 的 80.9%。代码已开源在 GitHub。转发者评价这是「直觉上很聪明」的改进，并表达了对 StepFun 作为实验室的欣赏。
「研究」频道最新
- sentence-transformers 支持 MRL 训练，token 向量降到 16 维仍可用 — tomaarsen · 2026-11-12
- FAME 探索规划方法跨场景迁移，重建完成率超 NBP 6.6 个百分点 — jiqizhixin · 2026-11-12
- E11 Bio 招计算科学家：用 Agentic AI 操控显微镜 — anderssandberg · 2026-11-12
- EPFL：Claude 靠推理手写 EEG 网络权重，样本量仅需梯度训练 1/6 — epfl-ch · 2026-11-12
- 可微 SSSS 框架实现单图实时皮肤数字化与次表面散射估计 — ssh4net · 2026-11-12
- NeurIPS 论文首次证明 RNN+MLP 可恢复机器人真实状态 — chriswolfvision · 2026-11-12