慕尼黑工大提出 MTA-OPSD：训练时为每个 token 选不同教师
TUM · hf · 2026-11-04
TU München 团队在 arXiv 发布论文《Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-Distillation》。
- 针对 On-policy Self-Distillation（OPSD）后训练方法中教师模型固定不变的局限，作者论证教师偏好会在同一条回复内逐 token 变化，每个 token 都需要自己的教师。
- 通过教师干预先导实验验证这一点，并提出用多数投票与基于 KL 的选择为每个 token 识别首选教师。
- 提出的 MTA-OPSD 方法在数学推理任务上优于固定教师方案。作者团队来自 TU München、MCML、京都大学、Aalto 等机构。
「研究」频道最新
- Trinity 框架实现多模态智能体递归自我改进，18个未见基准平均涨26分 — YangYou1991 · 2026-11-04
- 改 0.13% 权重零训练修复 OCR 模型空白页幻觉,榜单从 14 升到 8 — vanstriendaniel · 2026-11-04
- antirez 批评 Astra 论文:游戏任务可从输出偏差直接猜出,且认不出 Cannon — antirez · 2026-11-04
- BioSimBench 发布:27B 模型经 RL 训练全面超越前沿模型模拟细胞反应 — david_van_dijk · 2026-11-04
- antirez 复现 MIT 论文：LLM 权重里真有可看见的径向模式 — antirez · 2026-11-04
- RoboColosseum 主打真实世界评测：非固定场景、可规模化 — DJiafei · 2026-11-04