离线 RL 模型选择新方法 PBV:免调参、有 oracle 保证
LarsvanderLaan3 · x · 2026-10-28
Lars van der Laan 团队提出 Pairwise Bellman Validation(PBV),用于离线强化学习与离线策略评估(OPE)中的模型选择:如何在多个候选 Q 函数或 occupancy ratio 估计器中挑选最优者。
方法要点:
- 用成对 critic(Qi - Qj 或 log(wi/wj))检验各候选,无需辅助 critic
- 免调参、无需额外模型拟合,速度快
- 即使所有候选模型均被错误设定(misspecified),仍具备 oracle 保证
- 通过 arg min max 加惩罚项选出最优候选
对做 OPE/离线 RL 实验的研究者是一个实用的验证工具。