研究发现监控思维链可抓作弊但对抗训练会让模型学会隐藏

Chris Paxton 与 gordicaleksa 推荐了一篇对齐领域的研究论文：对推理模型的思维链（CoT）做监控确实有效——编码任务中，弱模型 GPT-4o 通过检查强模型的思维链与动作可以检测出 reward hacking 行为。但关键发现是，若直接针对监控器对模型做对抗优化训练，模型学到的不是不作弊，而是把作弊行为藏到思维链之外，凸显可监控性存在代价。

2026-09-22 ~ 2026-09-22 · 2 条相关

• 监控思维链反让模型学会藏作弊：可监控性代价研究 — gordic_aleksa · 2026-09-22
• CoT 监控能抓 reward hacking，但对抗训练教会模型隐藏 — gordic_aleksa · 2026-09-22