SFT 学正向 KL、OPD 学几何平均:论文解释两者遗忘差异根源
QuanquanGu · x · 2026-10-15
- 引用研究者 @diqiwei 的研究发现：在线偏好蒸馏（OPD）比 SFT 遗忘更少，但在教师不匹配和长 rollout 下会崩。
- 作者的解释：两者优化目标不同——多教师场景下，SFT（前向 KL）学到的是教师的算术混合（arithmetic mixture），而 OPD（反向 KL）学到的是归一化几何平均（normalized geometric mean）。
- 帖子还附带论文的 AI 使用声明：作者用 GPT 5.6 Sol、GPT 6 Astra、Claude Fable 5、Grok 4.6 等模型辅助写作并证明若干关键技术引理，作者验证证明并承担全部责任。
「模型」频道最新
- SaaSletter：企业 AI 风险指标两年涨 9.3 倍，或预示 Anthropic 营收走势 — thedealdirector · 2026-10-15
- 网友爆料：Anthropic 疑似训练模型打游戏，Opus 5.5 游戏表现超 Astra — imjustnewatai · 2026-10-15
- Maya-2 开源发布:印度语系语音模型登顶 Hindi TTS 榜单 — CurieuxExplorer · 2026-10-15
- 模型或能纯靠文本指纹识别 AI 生成内容，评测沙箱面临被识破风险 — scaling01 · 2026-10-15
- Astra 版答案出炉:艺术自动化之争第三种回答更中庸 — keenanisalive · 2026-10-15
- 同一道艺术题实测 Fable 与 Argon,一个讲心流一个讲意义 — keenanisalive · 2026-10-15