Direct-OPD：弱模型 RL 经验迁移强模型

tokenbender · x · 2026-08-21

论文提出 Direct On-Policy Distillation (Direct-OPD) 方法，解决在大模型上重复运行昂贵 RL 的问题。通过在弱模型上运行 RL，然后将其诱导的策略变化（而非最终策略）作为隐式奖励信号蒸馏给强模型。实验表明，该方法能有效利用弱模型提升强模型目标的表现，如将 Qwen3-1.7B 准确率从 48.3% 提升至 58.3%。

原文链接 →

「模型」频道最新

• Baseten 首日上线 Muse Spark Open API:输入 $1.25/百万 token — baseten · 2026-10-16
• Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
• 用户喊话 Google：给新模型放宽用量、合并成一个 App — dreamwieber · 2026-10-16
• 用户吐槽:Gemini 网页版可用但编码工具中无权限,体验割裂 — dreamwieber · 2026-10-16
• OpenAI 简化 API 用量层级：Build/Launch/Grow 三档，花钱自动升级 — prd_008 · 2026-10-16
• 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16

更多「模型」频道 AI 资讯 →