CS336 讲义详解 DPO：两答案概率相同也可有正偏好差，β 控制偏离幅度
stanfordnlp · x · 2026-10-31
作者整理了 Tatsunori Hashimoto 的斯坦福 CS336 第 15 讲（SFT 与 RLHF）核心内容，配图用构造性例子讲清了 DPO 的关键机制。
核心洞察
- SFT 教模型复现示范分布，偏好优化教模型「偏爱」高分回答——两者都不能保证答案为真
- DPO 比较的是相对参考模型的概率变化，而非当前两答案的概率：参考模型给优选答案 0.2、拒绝答案 0.4，当前策略各 0.3，偏好差仍为 log(0.3/0.2) − log(0.3/0.4) = log 2，β=1 时隐含偏好概率 2/3、pair loss 约 0.4055
- 配图展示 reward 重加权参考分布：β 越大，相同 reward 下策略偏离参考越克制（β=0.5/1/2 时最优 P(A) 分别为 0.8/0.5/0.333）
- 讲座覆盖 SFT 示范、mid-training、偏好收集、PPO 到 DPO；共同难点是训练信号混杂——标注者可能奖励事实正确、长度、格式或其混合，优化器无法自动分离这些原因
「模型」频道最新
- Gemini 4 Carbon 登顶 Vending-Bench 2，成本还低于同级前沿模型 — vedantmisra · 2026-10-31
- Particle 推出 token 高效模型 Particle-1，上线 Cloudflare AI Gateway — garrytan · 2026-10-31
- OpenAI 发布 L=BPL 证明，或有 AI 生成形式化数学证明 — chaumian · 2026-10-31
- 用户抱怨:AI 模型又开始「擅自脑补」不存在的商品 — abhishek_8899 · 2026-10-31
- Matt Wolfe 周报:Anthropic 拟 IPO、GPT-6.1 与 Genie 4 同周炸场 — Matt Wolfe · 2026-10-31
- Qwenputer：把完整 RISC-V CPU 塞进 Qwen3.5-4B 权重里 — armand_ruiz · 2026-10-31