Constrained Update Projection Approach to Safe Policy Optimization
Long Yang, Jiaming Ji, Juntao Dai, Linrui Zhang, Binbin Zhou, Pengfei Li, Yaodong Yang, Gang Pan
cs.LG, cs.AI
2022-09-15
CUP先用带GAE的代理函数改进策略,再投影回安全集,全程一阶优化;Hopper回报2025对比FOCOPS的1688,成本79.98压在限额83内。
安全 RL 要在 CMDP 里最大化回报,同时让代价回报不超过预算。CPO、PCPO 一类方法用代理函数替换目标和约束,再把非凸问题做成一阶或二阶凸近似,更新时还要碰高维 Fisher 矩阵的逆,高维连续控制上又贵又偏。拉格朗日方法能跑,但训练中途的策略经常已经越界,真机上不能拿来执行。
另一条缺口是理论。GAE 在实践里降方差很稳,CPO 风格的安全算法也有人把 GAE 塞进去,但缺一份「代理函数对 GAE 仍然成立」的差界。CUP 要把这件事补上,并给出不靠凸近似的一阶实现。
先证一条对任意两个策略都成立的广义性能差界,误差项里同时有 TD 差和折扣状态分布差。取 p=1、q=∞,差界用 GAE 优势来写;λ→0 时退回 CPO 的经典界。代价函数有对称的上界。TV 距离可以换成 KL 的根号,方便做信任域。
算法两步。第一步在旧策略数据上最大化 GAE 优势的重要性采样估计,减去 KL 根号惩罚,得到一个可能越界的临时策略。第二步把这个临时策略投影回安全集:最小化与临时策略的距离,约束是代价的 GAE 上界加 KL 根号惩罚不超过预算 b。定理 2 给出最坏情况下的回报下降和约束违背,α、β 趋于 0 时渐近安全。
实现不用凸近似。投影写成关于对偶变量 ν 的 primal-dual,策略参数和对偶变量都走一阶梯度,ν 小于 0 就截成 0。估计全部来自当前策略采样,代价优势同样用 GAE。
MuJoCo 上 10 个种子,Safety Gym 上 3 个种子,对照 CPO、PCPO、TRPO-L、PPO-L、FOCOPS。多数环境里 CUP 的代价轨迹贴着限额虚线,基线经常过冲或欠修正。Ant-v3 上只有 FOCOPS 和 CUP 保持安全,CUP 回报更高。Swimmer-v3 上 PPO-L 回报 35.58 略高于 CUP 的 33.38,但代价 54.91,限额是 24.5,学的是危险策略。Safety Gym 上 CPO/PCPO 的初始策略在 PointGoal 和 PointButton 上就已经不可行。
| 环境 | 限额 | CUP 回报 | CUP 代价 | 最强对照回报(是否越界) |
| Ant-v3 | 103 | 1743.66±40.5 | 99.11±0.93 | FOCOPS 1662.53(代价 101.31,贴线) |
| Hopper-v3 | 83 | 2025.56±122.35 | 79.98±2.31 | FOCOPS 1687.72(代价 102.3,越界) |
| Swimmer-v3 | 24.5 | 33.38±0.54 | 23.31±0.05 | PPO-L 35.58(代价 54.91,越界) |
| Humanoid-v3 | 20 | 1066.83±266.12 | 19.91±0.36 | PCPO 962.13(代价 48.66,越界) |
| Humanoid-Circle | 50 | 768.65±63.70 | 48.23±0.65 | FOCOPS 713.04(代价 47.73,安全) |
超参上,估计代价低于预算时 ν 几乎不动;一旦越线,ν 被激活把策略拉回。α 在一定范围内回报和代价都稳。换不同限额,CUP 仍能贴着新的 b 学。
这是把 GAE 写进安全差界、再用纯一阶更新落地的一条线,不必每步求 Fisher 逆。对已经在用 PPO/GAE 的连续控制栈,投影步可以当成附加的安全层,而不是换一套二阶求解器。数字上看,优势主要来自「别人越界、它贴线」,不是每个环境都大幅刷新回报上限。Swimmer 上 CUP 回报低于越界的 PPO-L,这是安全算法该有的取舍。
作者在清单里承认没有单独写局限节。定理 2 的安全是近似的,带与 KL 和代价估计误差有关的余项,α、β 要往 0 送才能渐近成立,有限步仍可能轻越界。Humanoid-v3 回报标准差 266,种子间很散。Safety Gym 种子只有 3 个。对照是否用了各方法自己的官方超参,正文没有逐项对齐。约束在实验里是单条代价,多约束、代价函数学错、以及真实机器人,都没有覆盖。投影用当前策略的 on-policy 样本估约束,代价估计一偏,安全保证就跟着偏。