Salesforce 论文:自教师蒸馏算力效率远超 GRPO

Salesforce AI Research 发表论文,系统比较在线策略蒸馏(OPD)与 GRPO 在相同训练 FLOPs 下的留存集准确率,覆盖任务难度、模型规模、领域等维度。核心发现是 OPD 算力效率显著更高:相比 GRPO,自教师蒸馏可节省约 50 倍 FLOPs,而通过合并领域专家模型还可额外省 42% 算力。

2026-11-08 ~ 2026-11-08 · 2 条相关