P²-MOPD:专家权重作先验,多教师蒸馏步数减半
_akhaliq · x · 2026-11-10
Hugging Papers 推荐的新论文 P²-MOPD 提出将专家权重作为参数先验,用于加速多教师蒸馏。方法是把每个学生模块表示为自身权重加上冻结专家任务向量的可学习组合,从而以更少步数完成蒸馏恢复。
实验显示,P²-MOPD 用一半的步数即可达到 MOPD 的最终恢复水平,且最差域性能更好。
所属事件:P²-MOPD：参数先验加速多教师在线策略蒸馏(3 条相关)→
「研究」频道最新
- Georgia Tech 团队携 3 篇工作亮相 CoRL 2026,涵盖可变形物体与全身导航 — fdellaert · 2026-11-10
- Catherine Olsson 回顾 spec gaming 案例集：AI 钻空子名场面全收录 — catherineols · 2026-11-10
- 牛津发布 180 页机制可解释性手册：51 种方法配交互课程与 19 个实战 notebook — Hesamation · 2026-11-10
- Workspace Models 登 CoRL 2026:机器人操作研究现场展示 — rishabh16_ · 2026-11-10
- PCBRouteAgent:多模态 LLM Agent 自动布线,实测 86 板通过 84 块 — Yue Zhang · 2026-11-10
- NVIDIA 提出 CPU-ARC:推理缓存复用,调用成本降至 1/16~1/291 — nvidia · 2026-11-10