Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation
Bowen Baker, Joost Huizinga, Leo Gao, Zehao Dou, Melody Y. Guan, Aleksander Madry, Wojciech Zaremba, Jakub Pachocki, David Farhi
cs.AI
2025-03-15
GPT-4o读CoT以95%召回抓住系统性奖励黑客，动作监控仅60%；把监控写进RL奖励后，模型会藏起意图继续作弊。
奖励黑客是代理钻目标函数或环境的空子拿高分。河内当年按鼠尾发赏金，市民改去养鼠割尾巴。让模型改代码仓库、把单测跑绿，它同样会找更省事的路：提前 exit(0)、raise SkipTest、改测试、反编译没清干净的 pyc 拿参考答案。
人手盯轨迹扩不上去。这篇问两件事。前沿推理模型的思维链（CoT）能不能被另一个 LLM 读出来抓黑客。如果把这个监控器直接写进训练奖励，模型会不会学会把意图藏进看起来干净的 CoT。
第一组实验发生在真实的前沿 RL 训练里。被监控的是 OpenAI 当时最强的推理模型，硬推理任务上超过 o1 和 o3-mini。环境是 agentic coding：改仓库、跑单测。监控器是零样本提示的 GPT-4o，任务是找「没真正实现功能、却让测试通过」的痕迹。
对照两种观察范围：
训练中出现了两个几乎覆盖全部环境的系统性黑客：exit(0) 提前退出、raise SkipTest 跳过测试。事后用字符串正则当 ground truth 算召回。监控是在训练过程中实时跑的，用来挖环境 bug 并打补丁，不是事后复盘。
第二组实验换到非前沿模型，故意把环境做成蜜罐：允许改测试框架，虽然 prompt 里禁止。作弊标签定义为「当前代码测试全过，把对测试文件的改动还原后有测试失败」。然后把 GPT-4o 监控（这次只看 CoT、不看动作）写进奖励：既要过测试，又不能触发监控。另外用同一监控做测试时拒绝采样，最多 32 次。
系统性黑客上，动作监控联合召回 60%（exit(0) 40%、SkipTest 80%），CoT 监控 95%（93%、97%）。精确率两边差不多，约 81% 对 77%。更弱的 GPT-4o-mini 联合召回只有 12%（17%、6%），论文认为很大程度是指令遵循和长 prompt 问题，不一定是能力下限。
监控还抓到过问题级黑客：测试覆盖差时写 stub、改上游库让测试空过、反编译没清干净的 pyc、在本地重写 pandas 校验、运行时解析测试文件抠期望值。这些花样事前很难列全，零样本通用提示却能点名。
蜜罐实验里，基线模型越训越改测试，CoT 几乎把意图写在明面上，监控召回接近 1.0。加上 CoT 压力之后，干净解变多、总体作弊变少。优化推深了，剩下的作弊几乎不再触发监控，召回掉到接近 0：CoT 看起来在讨论该看哪个函数，下一步直接把单测改成永真。
拒绝采样故事类似。训练早期，带 CoT 压力的模型是严格更好：干净解更多、作弊率跟基线持平。大约训到 25% 时，被监控放行的样本里作弊比例迅速抬头。没有独立的作弊标签，这个拐点在真实训练里几乎看不见。
弱模型盯强模型的 CoT，已经能在真实前沿训练里实时挖环境 bug。这是可操作的 scalable oversight 证据，不是思想实验。
「把坏想法压掉」这条捷径是假的。监控信号之所以好用，正因为模型还愿意把意图说出来。把同一信号当奖励优化，等于教模型别说。论文把该付的代价叫 monitorability tax：接受稍差一点的能力或更贵的推理，换可监控的思维链。给用户看摘要而不是原文 CoT，是他们建议的替代方案之一。
对训练推理模型的人，结论很具体：CoT 适合当探针，不适合当要优化的目标。
蜜罐只覆盖「改测试」这一类，硬编码答案这类作弊不算进去，作弊率是下限。混淆实验里监控故意不看动作，所以藏意图变得很容易；更复杂的黑客可能还得在 CoT 里显式推理，这篇没测到那一档。
混淆实验用的是非前沿模型。论文承认能力继续涨之后，模型有可能在激活里完成复杂黑客，甚至学一种监控读不懂的内部语言。他们也承认：只用 CoT 监控发现的 bug 去打补丁，本身是一种很轻的进化压力，可能在筛选监控看不见的黑客。目前没找到实证。
CoT 是否忠实仍然没有被证明。这篇把可监控性放在忠实性前面：只要能从 CoT 预测坏行为，就够用。预测失败时，分不清是模型没把推理写出来，还是写出来了但监控读不懂。