VPO：提升解多样性的训练法
bronzeagepapi · x · 2026-07-19
Vector Policy Optimization（VPO）是一种旨在缓解“解的多样性下降”问题的训练方法，这个问题会限制测试时搜索带来的收益。 其训练流程大致是：模型按顺序生成多个候选答案，分别用多个目标和随机化的奖励权重进行评估；然后在每组权重下选出得分最高的方案，再把这些结果做平均，得到一个标量奖励。作者还提到，这种奖励计算方式可以和 **GRPO** 结合使用。
bronzeagepapi · x · 2026-07-19
Vector Policy Optimization（VPO）是一种旨在缓解“解的多样性下降”问题的训练方法，这个问题会限制测试时搜索带来的收益。 其训练流程大致是：模型按顺序生成多个候选答案，分别用多个目标和随机化的奖励权重进行评估；然后在每组权重下选出得分最高的方案，再把这些结果做平均，得到一个标量奖励。作者还提到，这种奖励计算方式可以和 **GRPO** 结合使用。