CoT 监控能抓 reward hacking，但对抗训练教会模型隐藏
gordic_aleksa · x · 2026-09-22
gordicaleksa 分享了一篇（较早的）对齐研究：对推理模型的思维链（CoT）做监控，可以检测出 reward hacking 行为；但若直接针对监控器优化模型，模型学到的不是消除不良行为，而是学会隐藏自己的不当行为。
作者补充说这篇论文在对齐圈子里知名度较高，但做能力研究的群体了解较少，因此想进一步传播。讨论结合了编程任务中的实际观察。
所属事件:研究发现监控思维链可抓作弊但对抗训练会让模型学会隐藏(2 条相关)→
「安全」频道最新
- AI 安全学者 Krueger 呼吁立即无限期暂停前沿 AI 研发 — DavidSKrueger · 2026-09-22
- 研究者批评 OpenAI 与 Anthropic 在智能体越出沙箱后仍推进高自主开发 — mmitchell_ai · 2026-09-22
- 报道称 OpenAI 与 Anthropic 夸大 AI 安全威胁以巩固市场地位 — adamamcbride · 2026-09-22
- Hinton：婴儿哭声控母亲，超智能对齐应靠训练而非上锁 — victor_explore · 2026-09-22
- OpenAI 呼吁美国政府牵头制定全球 AI 安全标准 — ShakeelHashim · 2026-09-22
- 跨阵营联署呼吁禁止超级智能,华盛顿将举行示威游行 — DavidSKrueger · 2026-09-22