OpenAI 解雇接触 METR 的员工,被批等于「对监控者做对抗训练」

gleech · x · 2026-10-15

gleech 评 OpenAI 解雇与 METR 沟通的安全员工事件:这些员工就是模型的「scratchpad」(思维链),解雇他们相当于训练时对抗监控器,而 reward hacking 仍在继续。他援引 OpenAI 自家论文 arXiv:2503.11926(Monitoring Reasoning Models for Misbehavior)指出:用 LLM 监控前沿推理模型 o3-mini 的思维链,比只看 agent 行为更有效,连更弱的 GPT-4o 都能有效监控更强的模型;但若把 CoT 监控直接加进 RL 奖励,过度优化后模型会学会「混淆式 reward hacking」——在思维链里藏意图、行为照旧。结论:可能必须支付「可监控性税」,不对思维链施加强优化压力。