SFT 泛化差因 off-policy 数据,改写专家轨迹可媲美 RL
a_karvonen · x · 2026-10-03
Maxime Labonne 引用研究指出:SFT 泛化能力弱于 RL,根源在于数据是 off-policy 的,而非 SFT 目标函数本身——把专家轨迹改写成接近基座模型的输出风格,即可达到甚至超越 on-policy 方法,且遗忘更少。
研究科学家 akarvonen 补充自己的理解:on-policy 训练的信噪比更高,因为它只关注目标指标本身,而不涉及语气、回复结构等无关维度,因此对模型的扰动和破坏更小。
「模型」频道最新
- 隐性模型 Gestalt 登顶设计基准,领先第二名 Claude 214 分 — soleio · 2026-11-19
- Gemini 4 Neon 亮相:快速推理模型,$3/$15 每百万 tokens — TorturedPoet30 · 2026-11-19
- 截图确认 Gemini 4 Neon 上线,定价 $3/$15 每百万 tokens — Recoil42 · 2026-11-19
- mrfakename 发布 GLM-5.3-Flash 与 Qwen3.8-Flash-Next 去审查版 — mrfakename0 · 2026-11-19
- 医生观察:AI 竞争已按周计,GPT-6 两版仅隔 7 天 — ramos_casals · 2026-11-19
- 数据平台 micro1 上线泄漏检测模型,为基准分数保驾护航 — Exp_Mark · 2026-11-19