Liquid AI 后训练负责人对谈:SFT 提 pass@k,RL 收敛为 pass@1
ziv_ravid · x · 2026-11-18
Liquid AI 后训练负责人 Maxime Labonne(GitHub LLM Course 作者)做客播客,谈后训练为何越来越关键。
- 回顾后训练演进:从 SFT、偏好优化到可验证奖励的 RL,再到多领域在策略蒸馏(MOPD)——为代码、数学等域分别设教师模型,再合并回一个学生模型
- 他认为 SFT 与蒸馏提升 pass@k,RL 再把它锐化为 pass@1;SFT 仍不可跳过,各阶段顺序很重要
- 解释为什么长 rollout 只给出约 1 bit 信号,RL 依然有效
- 谈在 agent harness 内直接训练小模型、哪些开源 RL 栈已能胜任严肃工作、looping transformers,以及大模型工作向本地小模型迁移的空间
- 观点:模型写作水平比一年前更差,因为实验室只追逐 agentic benchmark;RL 环境公司被高估
- 还讨论了安全与监管、开源与中国模型、递归自我改进、欧洲能否做出前沿模型(Mistral 与'监管护城河')、法国 vs 旧金山
「模型」频道最新
- Liquid AI 后训练负责人播客:两年间 SFT/RL/MOPD 流程剧变 — ziv_ravid · 2026-11-18
- Vals AI 实测:GPT-6.2 Astra 得分 29.01%,仍低于 Opus 5 — teortaxesTex · 2026-11-18
- Baseten 测评:开源模型换评测框架,单位通过成本可差 4.4 倍 — baseten · 2026-11-18
- GPT-6.2 被批最差发布,$200 订阅却上了 Ultrafast 烧币通道 — kimmonismus · 2026-11-18
- ChatGPT 模型选择器曝光:行星隐喻给模型分人格 — cneuralnetwork · 2026-11-18
- GPT-6.2 负面评价刷屏,是模型真差还是竞对公关? — dotey · 2026-11-18