HuggingFace TRL 原生支持 MOPD：多家实验室用它合并 RL 专家模型
pcuenq · x · 2026-11-04
TRL 现已原生支持 MOPD（Multi-Teacher On-Policy Distillation，多教师在线策略蒸馏）。不少前沿开源模型采用这一训练路线：实验室先按领域各训练一个 RL 专家模型，再把所有专家蒸馏进一个统一模型。
作者 accompanying 文章解释了 MOPD 的原理与使用方，并介绍新组件 AsyncDistillationTrainer 可将每条 prompt 路由到对应的专家教师；同步版 DistillationTrainer 支持也在路上（PR #7215）。文章还附带一个可在 HF Jobs 上一条命令跑起来的实验，方便复现。
所属事件:HuggingFace TRL 原生支持多教师在线策略蒸馏 MOPD(2 条相关)→
「研究」频道最新
- Google DeepMind 基因组学团队招 2027 学生研究员，要求熟悉 RL 与后训练 — alexechu_ · 2026-11-04
- SAIL 罕见病 AI 挑战赛开启：把基因诊断变成可执行治疗方案 — zakkohane · 2026-11-04
- 把文件系统编进权重:Qwen3.5-2B 被改造成一台纯模型计算机 — CatAstro_Piyush · 2026-11-04
- D&A 方法让任意 VLM 变身机器人奖励模型，三项基准 SOTA — KyleMorgenstein · 2026-11-04
- 伯克利 Beguš 用 AI 可解释性在鲸鱼交流中发现「元音」类似物 — begusgasper · 2026-11-04
- 开源工具 franken_doppler_finder:靠螺旋桨多普勒曲线定位音视频来源 — doodlestein · 2026-11-04