Salesforce 论文:自教师蒸馏算力效率远超 GRPO
Salesforce AI Research 发表论文,系统比较在线策略蒸馏(OPD)与 GRPO 在相同训练 FLOPs 下的留存集准确率,覆盖任务难度、模型规模、领域等维度。核心发现是 OPD 算力效率显著更高:相比 GRPO,自教师蒸馏可节省约 50 倍 FLOPs,而通过合并领域专家模型还可额外省 42% 算力。
2026-11-08 ~ 2026-11-08 · 2 条相关
- Salesforce 论文:外置教师蒸馏费算力,领域专家合并省 42% — rohanpaul_ai · 2026-11-08
- OPD vs GRPO 算力效率拆解:自教师蒸馏可省 50 倍 FLOPs — rohanpaul_ai · 2026-11-08