Will Brown 长文:解 SFT、RL 与 on-policy 蒸馏的适用边界
heghbalz · x · 2026-11-17
前 OpenAI 研究员 Will Brown 发布长文《On SFT, RL, and on-policy distillation》,讲清三者的关系与适用场景:
- 为什么 SFT→RL 流水线有效:SFT 提供初始行为先验,RL 在其上优化
- on-policy 蒸馏的关键区别:学生自己生成尝试轨迹,教师对这些轨迹提供 token 级概率反馈——与只在教师写的答案上训练不同,学生能对自己实际会走的路径(包括错误)获得监督
- 核心洞察:最强模型未必是好老师。模型的解题能力与它作为训练信号的价值是两回事——教师分布里混着格式、措辞等训练偏好,师生分歧大不代表都值得学。同家族蒸馏的兼容性可能与教师原始能力同样重要
- 自蒸馏为何会出问题也在文中讨论
「编程与Agent」频道最新
- Cloudflare 发布 x402 AI Agent 变现网关,Solana 占交易量七成 — kleffew94 · 2026-11-17
- Mnemos×NousResearch 发布智能体记忆引擎,自称比 Claude Code 记忆强 2 倍 — RileyRalmuto · 2026-11-17
- 10 周 ChatGPT 导流新用户翻倍:355 到 781 的 AEO 实战复盘 — tibo_maker · 2026-11-17
- FormMCP:一条 MCP 连接接入全家桶桌面应用,工具按需加载 — nodemode_ai · 2026-11-17
- Harness Adapters发布:LoRA让Qwen3.8-27B在Pi上解题率翻倍 — LysandreJik · 2026-11-17
- Pi 适配器 LoRA 可在 vLLM/llama.cpp/MLX 等任意平台运行 — yb2698 · 2026-11-17