MRPD:重放专家训练日志整合多专家,成本仅 MOPD 的约 1/7
illinois · hf · 2026-11-20
frontier 后训练的常见配方是:每个领域用 RL 训一个专家,再用多教师 on-policy 蒸馏(MOPD)把专家整合进一个模型——但 MOPD 需要学生重新在每个环境采样、专家逐 token 打分,成本高昂且会继承专家漂移。
- 论文提出 MRPD(多专家重放策略蒸馏):直接重放专家 RL 训练日志(带采样概率与奖励的 rollout,按专家学习顺序),在这些轨迹上重算策略梯度并在记录前缀处蒸馏专家分布
- 重放虽然是 off-policy 起点,但跟随专家自身轨迹使其全程近似 on-policy,训练-推理失配小
- 不需任何新采样,不调环境或奖励模型,整合成本仅约专家训练的 1/7(图示最高可快 8 倍)
- 在推理、搜索、SQL 三个长程智能体域上,学生模型显著超过在线 RL 基线,以小成本超过 MOPD
- 分析发现:轨迹的顺序比数量和奖励更重要——专家训练日志本质上是一份课程(curriculum),而非数据混合
「研究」频道最新
- 精确还原现实拍摄的 3D 坐标,解锁变化检测、AR/VR 与机器人应用 — bilawalsidhu · 2026-11-20
- World Snapshot Models:把上千种视觉任务统一为生成任务 — World-Snapshot · 2026-11-20
- Prime Intellect 发布 Maze Bench:最强 LLM 无工具准确率仅 16% — patience_cave · 2026-11-20
- 多智能体 RL 新配方:团队协作解棋局,把 pass@k 变成 pass@1 — shizhediao · 2026-11-20
- 开发者实验直接操控本地模型注意力:勾选框即改 activation — round · 2026-11-20
- Prime Intellect RL Residency 回顾:资助独立研究者做开放评测与训练 — lateinteraction · 2026-11-20