Defining and Characterizing Reward Hacking
Joar Skalse, Nikolaus H. R. Howe, Dmitrii Krasheninnikov, David Krueger
cs.LG, stat.ML
2022-09-27
这是 reward hacking 的首个形式化定义。核心结论:只要把所有随机策略都纳入考虑,代理奖励除非是常数,否则必然可被钻空子;只有在有限策略集上才存在非平凡的「不可钻」代理。
强化学习里有个老问题:你想要的是一个真正的目标(真奖励),但能写下来、能拿来训练的往往只是一个近似(代理奖励)。一旦放手去优化代理奖励,模型经常找到提高代理分却拉低真分数的捷径,这就是 reward hacking,奖励钻空子。文献里早就有一堆案例:赛艇游戏里船原地转圈吃道具而不跑赛道,演化电路去偷听邻近电脑的射频信号而不自己造振荡器。
这篇要回答一个更基本的问题:优化一个代理奖励,什么时候是安全的?更具体一点,优化代理奖励有没有可能让行为变差?作者给 reward hacking 写下第一个严格的形式化定义,然后从这个定义推出它什么时候发生、什么时候不会。
核心定义很直接。给定一个环境和一个策略集合 Π,两个奖励函数 R1、R2 被称为「可钻空子」(hackable),是说存在两个策略 π、π′,让 R1 觉得 π′ 更好、R2 却觉得 π 更好,也就是两个奖励对这两个策略的排序相反。不可钻(unhackable)就是不存在这样一对。
作者另外定义了一个更窄的概念 simplification(简化):R2 是 R1 的简化,意味着 R2 只能把 R1 的某些区别抹平(把「大于」变成「等于」),永远不会把排序反过来。这刻画的是「故意忽略掉一些奖励项、或忽略掉细小差别」这种构造代理奖励的常见做法。
整个理论的关键洞见只有一句:期望回报 J 在「状态-动作访问计数」上是线性的。这条线性把「不可钻」变成了一个极其苛刻的条件,后面所有结论都从这里推出。
主结论是一组反方向定理,按策略集大小排列:
| 策略集 | 非平凡不可钻对是否存在 |
| 所有随机策略(含开集) | 不存在,除非两奖励等价 |
| 所有 ε-次优 / δ-确定策略 | 同样不存在 |
| 任意有限策略集 | 总是存在 |
定理 1 是最强的一条:只要策略集在策略空间里有「体积」(包含一个开集),那么两个不可钻又非平凡的奖励必然等价。推论落到所有随机策略上就是,两个奖励要不可钻,其中一个必须是常数。换句话说,你想用一个有意义的代理奖励覆盖全部随机策略,又想它完全防钻空子,数学上做不到。
把策略集收到有限集,局面才松动(定理 2):任意有限策略集上,非平凡的非等价不可钻对总存在。定理 3 进一步给出有限集上存在非平凡 simplification 的充要条件,是一个关于维度的不等式。
作者用一个扫地机器人的小例子帮人建立直觉:真奖励是三间房都一样值钱 [1,1,1],代理奖励只要求扫两间 [1,1,0],这时不可钻;可要是代理奖励只要求扫阁楼 [1,0,0],就立刻可钻,因为代理会觉得扫阁楼(1 分)优于扫另两间(0 分),真奖励却相反。
这篇没有给算法、没有跑实验,它的价值是一条理论警告。把一个「窄任务」的奖励函数当作「全局人类价值」奖励函数的代理,在作者框架下这两者必然可钻。这把一个工程直觉变成了定理:用奖励函数去定义窄任务同时不对齐全局价值,迟早会被钻空子。
对从业者的含义偏消极。结论不是「这样做就能防住 reward hacking」,它说的是:靠精简或忽略奖励项来构造安全代理这条路,在最宽松的策略假设下走不通。作者点名了几条替代方向:模仿学习、带约束的 RL、quantilizer、激励管理。
作者自己承认的局限很实在。第一,只覆盖有限 MDP 和马尔可夫奖励,更一般的环境留作未来工作。第二,定义是严格且对称的,而对称性其实有问题:代理分低、真分高的行为远没有反过来那么危险,因为优化代理时几乎不会撞上这种行为(你不会在学洗碗的过程中顺便解决气候变化)。第三,也是最关键的,可钻(hackable)绝不等于一定会被钻,从「理论上可钻」到「训练中真发生」之间还有一大段经验性的距离,这篇没有碰。
读完容易想问:在真实深度 RL 的策略轨迹分布下,「可钻」到底有多大概率变成「真钻」?这篇留的是个开放问题,不是定论。