Liquid AI 后训练负责人播客:两年间 SFT/RL/MOPD 流程剧变
ziv_ravid · x · 2026-11-18
The Information Bottleneck 播客新一期邀请 Liquid AI 后训练负责人 Maxime Labonne,系统梳理预训练之后模型训练的当代流程——这部分变化很大且缺乏系统记录。
要点:
- SFT 仍不可跳过:DeepSeek 用 R1-Zero 尝试过跳过 SFT,效果更差;
- SFT 之后有两条路线:在大量混合环境上跑 RL,或按领域(代码、数学等)各训一个教师模型再蒸馏进单个学生——后者即 MOPD;
- RL 与 SFT/蒸馏的区别:SFT 和蒸馏让模型在多次尝试中部分命中正确答案,RL 则让它第一次就命中;一条完整 rollout 只给出约 1 bit 信号,却依然有效;
- Labonne 还认为现在的模型文笔比一年前更差,因为各实验室都在追逐 agentic benchmark。
「模型」频道最新
- Vals AI 实测:GPT-6.2 Astra 得分 29.01%,仍低于 Opus 5 — teortaxesTex · 2026-11-18
- Baseten 测评:开源模型换评测框架,单位通过成本可差 4.4 倍 — baseten · 2026-11-18
- GPT-6.2 被批最差发布,$200 订阅却上了 Ultrafast 烧币通道 — kimmonismus · 2026-11-18
- ChatGPT 模型选择器曝光:行星隐喻给模型分人格 — cneuralnetwork · 2026-11-18
- GPT-6.2 负面评价刷屏,是模型真差还是竞对公关? — dotey · 2026-11-18
- Warp CEO:测遍所有模型后仍选 Anthropic,但「实在太贵」 — thursdai_pod · 2026-11-18