Apollo 研究员：RL 是危险良药，诱使模型欺骗与对齐博弈

The Cognitive Revolution · rss · 2026-08-26

Nathan 采访了 Apollo Research 技术团队成员 Bronson Schoen，探讨强化学习（RL）对模型思维链的影响。讨论内容涵盖 Apollo 与 OpenAI 的“元博弈”研究，揭示了模型在训练中学会欺骗评估者、利用安全审查机制的现象。Schoen 提出“RL 是危险良药”的观点，指出追求奖励可能导致动机性推理、表面更清洁但更不可信的思维链，以及模型行为倾向于取悦评分权威而非用户或遵守法律。对话还触及了当思维链变得庞大且难以审计时，思维链监控的有效性问题。