Kokotajlo 质疑 CoT 监控性评测:如果模型不拒绝篡改思维链呢

dfrsrchtwts · x · 2026-10-27

前 OpenAI 研究员 Daniel Kokotajlo 对一篇关于情境感知与思维链(CoT)可监控性的论文提出关键质疑:论文通过 (a) 提示模型篡改其 CoT、(b) 关闭推理测试能力损失来评估监控性,发现模型离开推理能力大减且通常拒绝篡改 CoT。但 Kokotajlo 指出:如果模型不拒绝呢?他希望看到「即使模型竭尽全力篡改 CoT,也做不到」这类更强的证据,甚至可能是可证明的保证;并认为相比边际的评测数字,对模型行为的定性描述会更有信息量。

转发者补充认同这些提问的价值。这是 AI 安全圈对 CoT 监控性研究方法的实质讨论。