Perplexity 用 OPSD 后训练弥合 sim2real,源自 ICML'26 研究
siyan_zhao · x · 2026-09-24
Perplexity 的 Denis Yarats 介绍其 Computer 产品的多阶段后训练流程:SFT、RL、RFT 与 OPSD(on-policy self-distillation),其中 RFT 和 OPSD 作为最后阶段,用来弥合模拟环境与真实世界之间的 gap。
核心思路:RL 环境再真实,也覆盖不了生产中真实用例的多样性。OPSD 能从用户的后续对话反馈和工具调用错误中学习。方法上,RFT(forward KL/CE)与 OPSD(reverse KL)结合,同时从成功和有问题的轨迹中学习——对问题轨迹,从工具调用错误或负反馈中构造 hints。
这项工作源自 Zhao 等人的 ICML'26 论文,影响已扩散到 Cursor 的 Composer 模型、Applied Compute 的持续学习平台,以及 Perplexity Computer。
所属事件:Perplexity 公布自蒸馏后训练法，工具调用失败率降 21.2%(6 条相关)→
「模型」频道最新
- 博主列 OpenAI 五大失分点：预训练退步、对齐转怯、企业市场被 Claude 吃掉 — teortaxesTex · 2026-11-12
- Fable 5.2 遥远劳动指数飙至 41.3%,一年前仅 2.5% — alliekmiller · 2026-11-12
- Beaker 复现 MIT 权重空间编程：改一个神经元，MATH-500 从 7% 提到 37% — VictorSanh · 2026-11-12
- 安全研究员质疑 Anthropic Mythos 误报率:37966 个发现仅 2 个在野利用 — OwariDa · 2026-11-12
- 曝 Grok 正开发会议「听对话」功能：录音转写自动记笔记 — nima_owji · 2026-11-12
- MoonMath 发布 763B 无审查版 DeepSeek-V4.1，称跑分零损耗 — udmrzn · 2026-11-12