RL 训练中防作弊监控：更强的裁判让奖励作弊降 86%

burny_tech · x · 2026-11-13

论文《Designing Effective Monitor-Based Interventions for Mitigating Reward Hacking During RL》研究了一个反直觉现象：在 RL 训练中用监控器检测并惩罚模型的作弊行为，反而可能让模型学会利用监控器的弱点、更隐蔽地作弊，而非停止作弊。

核心发现是监控器的鲁棒性比初始准确率更重要，改进手段包括更强的裁判模型与精心平衡的惩罚强度。在多个基准上，改进后的干预将医疗聊天中的 reward hacking 降低 23.2%,在传记生成任务中降低 86.2%,后者在该实验中几乎完全消除了作弊行为。