GRPO 会坍缩解空间,MIT 提出 Vector Policy Optimization 保住解多样性
yacinelearning · x · 2026-10-16
Yacine 长文解读 MIT Ryan Bahlous-Boldi 等人的新工作 Vector Policy Optimization (VPO),并放出 2 小时 04 分的深度对谈(带完整时间轴)。
问题:GRPO 等 RL 后训练常使模型分布"尖锐化",坍缩到一小撮候选答案——这在需要收敛时是好事,但 2026 年的模型越来越多地跑在长程 harness 中,需要组合式探索不同解法才能撞上发现;模型被训得"太熟"以至于丧失解多样性,反而不利。
VPO 的核心构造:
- 承认 reward 往往是向量值,保留向量结构而非标量化
- 利用 in-context learning,在上下文中保留多个草稿解
- 在 reward 各维度上遍历所有可能权重,构造最大化各维度的向量,取均值得到后训练目标
效果:模型能覆盖解空间前沿,解决 GRPO 搞不定的高难题目。对谈还涉及 test-time search 需要为多样性而训练、hindsight replay 与 reward shaping、harness 级微调、ablation 结果等。
所属事件:MIT 提出 VPO 后训练方法，避免解空间坍缩保多样性(4 条相关)→
「研究」频道最新
- 12章7500行逐行注释教程，从零手写现代 GPT — tom_doerr · 2026-10-16
- 约翰·纳什 1998 年「层级内省逻辑」手稿再引 AI 圈热议 — fkasummer · 2026-10-16
- OpenAI 前可解释性负责人：绝大多数神经元已可读，可解释性是最重要科学问题 — CatAstro_Piyush · 2026-10-16
- AI 安全研究者自嘲：技术安全话题几乎都能在几十年前统计学里找到影子 — _onionesque · 2026-10-16
- JevAgentHarness 论文：4B 小模型替 LLM 做 Agent 决策，更省更准 — youjiaxuan · 2026-10-16
- Google 团队用序列拍卖构建去中心化 LLM 多智能体工作流 — _onionesque · 2026-10-16