NVIDIA 提出最小二乘策略蒸馏 LSPD,蒸馏可省 75% rollout 批次
nvidia · hf · 2026-09-29
NVIDIA 团队从强化学习视角重新审视在线策略蒸馏(OPD),将 reverse-KL 目标与 KL 正则化策略优化建立联系,并在此基础上提出 RL 启发的 LSPD 框架,把基于价值 RL 中的乐观探索与离线数据复用引入策略蒸馏。
要点:
- 理论上其理想化形式在在线探索下达到 O(log K) 的紧遗憾界;
- 在 6 个数学推理基准和多种师生组合上平均超过现有蒸馏基线 1.59 分;
- Pass@k(至 k=64)评估显示 LSPD 更好地保留了策略多样性;
- 完全离线变体只用前 25% 的 rollout 批次即可达到普通 OPD 的相当性能,大幅节省采样成本。
「研究」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- LatamGPT 开源 1.78 亿篇拉美多语言语料登陆 Hugging Face — OmarUFlorez · 2026-11-16
- TotalSegmentator 在常规胸 CT 中量出 42mm 扩张主动脉 — MaziyarPanahi · 2026-11-16
- Tivadar Danka 发布 4000 字图解机器学习所需图论长文 — TivadarDanka · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16