MIT 提出 VPO:向量化奖励替代 GRPO,提升 LLM 测试时搜索
kastnerkyle · x · 2026-11-07
MIT Improbable AI Lab 等机构的 Vector Policy Optimization(VPO) 论文被 NeurIPS 2026 接收,作者已开源代码并上线项目网站。
核心论点:现代 LLM 流水线普遍依赖测试时搜索(best-of-n、verifier 重排、AlphaEvolve 式进化搜索),其收益前提是候选解彼此不同。但常规 RL(如 GRPO)把多种奖励信号预先坍缩成单一标量,会使模型收敛到同一个高概率答案,导致采样出的候选近乎重复,搜索无从选择。
方法与结果:
- VPO 保留奖励的向量形式,同时在不同奖励权重组合下优化,让模型输出的解分布在不同 trade-off 的前沿上;
- 可作为 GRPO 优势估计器的即插即用替代;
- 在 LiveCodeBench 上提高 pass@k,且优势随搜索预算增大而扩大;
- 嵌入 AlphaEvolve 式搜索循环时,VPO 能解出 GRPO 从未解出的难题。
「模型」频道最新
- Codex 把技能文件当安全威胁拦截,开发者吐槽讽刺拉满 — StianWalgermo · 2026-11-07
- Reddit 爆料 ChatGPT 疑似大规模封号,多年老用户也中招 — zyyyyl9144 · 2026-11-07
- 开发者把 284B 参数 DeepSeek 模型塞进 64GB 内存,零 GPU 跑通 — solyarisoftware · 2026-11-07
- Thinkymachines 推 Inkling 2 Small：Code Arena 涨 240 分，开源界 WebDev 第一 — SonglinYang4 · 2026-11-07
- DeepSeek-V4-Pro 蒸馏 Qwen3.5-9B 无限制模型冲上 Hugging Face 热榜 — xtools-at · 2026-11-07
- Anthropic 论文：300 万 Token 伦理数据让模型恶意行为降至 0% — garrytan · 2026-11-07