两小时精讲后训练新方法 VPO：让模型输出多样的好答案
yacinelearning · x · 2026-10-15
作者推荐了一条约 2 小时的深度讲解视频，介绍其眼中 2026 年值得关注的后训练方法 VPO（Value-set/diverse Preference Optimization 类方法）：核心思路是把模型后训练成能输出一组多样且都好的答案，而不是收敛到单一回答。
讲解覆盖：
- 为什么答案多样性重要
- 一个「魔法技巧」
- 用于促进探索的 reward shaping
- 一张顶级图示（Figure 2）
配图展示了 VPO 的 rollout 打分机制：同一 prompt 下模型在一条链中生成 m 个答案，每个答案得到奖励向量；从 Dirichlet(1) 采样多组奖励权重 w，在每组权重下取 best-of-m，再对所有权重取平均得到集合级奖励 R̂，最后估计 advantage 做 RL 更新。
所属事件:MIT 提出 VPO 后训练方法，避免解空间坍缩保多样性(4 条相关)→
「研究」频道最新
- 12章7500行逐行注释教程，从零手写现代 GPT — tom_doerr · 2026-10-16
- 约翰·纳什 1998 年「层级内省逻辑」手稿再引 AI 圈热议 — fkasummer · 2026-10-16
- OpenAI 前可解释性负责人：绝大多数神经元已可读，可解释性是最重要科学问题 — CatAstro_Piyush · 2026-10-16
- AI 安全研究者自嘲：技术安全话题几乎都能在几十年前统计学里找到影子 — _onionesque · 2026-10-16
- JevAgentHarness 论文：4B 小模型替 LLM 做 Agent 决策，更省更准 — youjiaxuan · 2026-10-16
- Google 团队用序列拍卖构建去中心化 LLM 多智能体工作流 — _onionesque · 2026-10-16