OPD vs GRPO 算力效率拆解：自教师蒸馏可省 50 倍 FLOPs
rohanpaul_ai · x · 2026-11-08
arXiv 论文《Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO》（Salesforce AI Research）系统研究了在线策略蒸馏（OPD）相对 GRPO 的算力效率：
- 外部后训练教师场景下，OPD 在每 FLOP 准确率上普遍落后 GRPO（外部教师规模最大 7.1 倍 FLOPs 劣势），即使教师本身再用 GRPO 训练也无济于事，且常出现回复长度膨胀与退化行为。
- 关键转折：教师用学生自己的 GRPO checkpoint 时，OPD 在数学上以 50 倍更少的蒸馏 FLOPs 恢复同等工作精度（比外部 8B 教师少 135.6 倍 FLOPs），该高效率在更大模型、代码任务和第二个模型家族上均成立。
- 跨领域：单领域时 GRPO checkpoint 已是目标模型无需蒸馏；多领域则用多教师 OPD 合并各领域专家，蒸馏阶段仅需专家训练 FLOPs 的 5.2%（2 领域）8.0%（4 领域），整体达到联合 GRPO 性能且总 FLOPs 少 42%。
所属事件:Salesforce 论文：自教师蒸馏算力效率远超 GRPO(2 条相关)→
「研究」频道最新
- MuJoCo 4.0 发布：薄物体不再穿透，软体可永久形变 — ZoubinGhahrama1 · 2026-11-08
- mitsuhiko:djs 的 JS「堆转储」或比真 dump 更适合持久化编码 agent — mitsuhiko · 2026-11-08
- Salesforce 论文：外置教师蒸馏费算力，领域专家合并省 42% — rohanpaul_ai · 2026-11-08
- Albert Gu 挺 Bitter Lesson：别把苦涩教训只读成堆 Transformer — sewon__min · 2026-11-08
- Autoware 开源越野自动驾驶仿真器:基于 NVIDIA Isaac Sim 支持多车训练 — rsasaki0109 · 2026-11-08
- 超长程智能体时代最迷人的元问题：AI 能否发现超越梯度下降的方法 — JensHonack · 2026-11-08