蚂蚁提出 PMOPD：子空间投影破解多教师蒸馏跷跷板
antgroup · hf · 2026-09-30
蚂蚁集团发布论文 PMOPD，针对多教师在策略蒸馏（MOPD）中的「能力跷跷板」问题——提升一个领域能力会压制其他领域。作者观察到不同任务的参数更新在 MOPD 中会迅速集中到各自的低维子空间，为识别和控制跨任务干扰提供了几何依据。
PMOPD 从各任务的累积参数位移构建「子空间记忆」，对梯度和优化器更新做投影以消除干扰受保护任务方向的分量；并设计轻量级冲突探针来刻画任务交互、指导任务排序，配合循环策略平衡子空间估计与任务回访。实验中，在 Code、Reasoning、Math 三类任务上，PMOPD 相比 MOPD 全面提升：Qwen2.5-7B 平均分提高 2.54 分，Llama-3.1-8B 提高 2.09 分。
「研究」频道最新
- 《现代 NLP 分词综述》上线 alphaXiv:系统梳理子词分词的优劣 — yuvalpi · 2026-10-01
- Topos Bio 发布 Topos-2：生成蛋白质全谱构象，瞄准不可成药靶点 — charles_irl · 2026-10-01
- R 包 quallmer 0.5.0:用 LLM 给文本图像表格做定性编码 — RexDouglass · 2026-10-01
- LLM 材料化学黑客松升级为开放科学智能黑客松 — CatAstro_Piyush · 2026-10-01
- 哲学新论文追问:与 LLM 合著时,共同作者到底是谁 — SvenNyholm · 2026-10-01
- Radical AI 与 Sandia 合作:用自动驾驶实验室加速氢纯化新材料发现 — CatAstro_Piyush · 2026-10-01