LMSYS 新训练法 OPD：让 Qwen3.5 推理提速 3 倍且精度提升
ying11231 · x · 2026-07-23
LMSYS 旗下训练系统 Miles 正式将在线策略蒸馏设为一级训练原语。在首次实验中，纯 OPD 技术成功让 Qwen3.5-35B-A3B 模型的推理长度缩短了约 3 倍，且在未使用任何任务奖励的情况下略微提升了准确率。
在受控的自我蒸馏实验中的核心亮点包括：
- 准确率提升：DAPO 得分从 0.8457 升至 0.8945
- 响应大幅缩短：生成长度从约 1.86 万 tokens 降至 0.55 万至 0.67 万
- 学生模型收敛：反向 KL 散度从 0.045 降至 0.010
- 高效评分：采用稀疏的按位置教师评分，替代了密集的 O(R²K) 负载
- 灵活易用：支持运行纯蒸馏，或 OPD 结合 GRPO/PPO 奖励
团队下一步计划探索 OPD 增强强化学习、规模扩展研究以及多教师 OPD 等方向。
「研究」频道最新
- AA 公布 Intelligence Index v4.3.2 各子项评测明细 — ArtificialAnlys · 2026-10-27
- Infini-AI Lab 开源 Hermit:让 agent 从经验中进化出好习惯 — BeidiChen · 2026-10-27
- Meta FAIR 提出 Self-Direction:把 agent 失败变成 LoRA 技能,成功率提 13.8pp — karen_ullrich · 2026-10-27
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27