MOPD 成今年技术报告高频词：TRL 现已支持多教师在线策略蒸馏
SergioPaniego · x · 2026-11-03
Hugging Face TRL 库正式支持 MOPD(Multi-Teacher On-Policy Distillation,多教师在线策略蒸馏)。这是今年前沿实验室后训练技术报告里反复出现的技术：Xiaomi 今年 1 月在 MiMo-V2-Flash 中命名该方法，此后 DeepSeek、Moonshot、NVIDIA、Liquid AI、Mistral 等都用它来训练模型。
MOPD 解决的问题：让单一模型在一次 RL 训练中同时精通数学、代码、工具使用、指令跟随等多个领域非常困难——训练时各领域会把模型往不同方向拉扯。
流程(配图给出了 MiMo-V2-Flash 与 LFM2.5-2.6B 的训练配方)：
- 先做通用 SFT,再按领域分别训练 RL 专家教师(数学、代码、指令、智能体等)
- MOPD 阶段：学生模型对任意领域 prompt 生成回答，对应领域专家教师逐 token 打分，用 reverse KL 更新学生，最终融合为一个具备全部技能的模型
工具支持：TRL 的 AsyncDistillationTrainer 已可将每个 prompt 路由到各自的专家教师；同步版 DistillationTrainer 支持在 PR #7215 中推进中。文末附 TRL 实操示例，读者可直接照跑。
「编程与Agent」频道最新
- 用 Claude 与 Codex 赶工企业项目：软件工程没死，只是换了活法 — kmeanskaran · 2026-11-03
- Neo4j GraphRAG Python 包默认改用 CPU 版 PyTorch，省去安装负担 — JeremyCMorgan · 2026-11-03
- 零依赖 SQLite+FTS5 记忆 MCP 服务器，解决编码 Agent 会话失忆 — AvocadoJaded8829 · 2026-11-03
- 开发者吐槽 Kimi 编码订阅：读一份项目规范烧掉 3% 月额度 — Chaosuka · 2026-11-03
- OmniMem 让 AI 编码智能体记住踩坑经验,下载量已达 1.2 万 — Ancient_Ad8787 · 2026-11-03
- 用 Claude 在 three.js 里教 AI 打篮球：程序化动画演示 — majidmanzarpour · 2026-11-03