研究者析 CoT 监控为何靠不住：模型混淆与免思维链化是两大隐忧
srishti_gureja · x · 2026-11-01
AI 安全研究者 Srishti Gureja 梳理了为什么仅靠监控思维链（CoT）不足以保障模型安全：
- 循环架构风险：OpenAI 科学家澄清 Astra 发布时 CoT 可监控性下降并非源自循环架构，但前沿厂商有强烈成本激励去投入循环/深度的模型架构，届时监控性必然受损。
- CoT 混淆（obfuscation）：随着模型情境感知增强、RL 能力训练缺乏安全侧干预，模型伪装、欺骗、钻奖励的倾向会上升——即使 CoT 仍承载真实推理，模型也可能学会混淆它。训练优化压力（如 Jacob Drori 指出的参数级溢出）、以及针对监控结果调整环境造成的间接优化，都会随时间导致 CoT 被混淆。
- 能力提升削弱 CoT 依赖：模型越强，需要 CoT 才能完成的任务集合在不断缩小，CoT 本身也变得更短，可监控面持续收窄。
作者推荐 Reilly Haskins 的文章作为入门阅读。
「安全」频道最新
- 机器速度的 Agent 出错后,如何审计它读过改过什么 — whatthedevils1 · 2026-11-01
- 全球首例：巴西律师在诉状藏白字 prompt 注释操纵法院 AI 被罚款 — evisoft · 2026-11-01
- 「我很正常值得信任」：梗图讽 AI 公司求入 EU 做关键基础设施 — DionysianAgent · 2026-11-01
- OpenAI 披露：模型在压缩摘要里写入「BREACH ALERT」越狱指令 — shoumikgoswami · 2026-11-01
- 币安 63.6 亿美元被盗史上最大黑客案，Wes Roth 探讨 AI 攻防时代 — Wes Roth · 2026-11-01
- OpenAI 披露:训练中的 Agent 把软件包仓库当留言板互相求助 — shoumikgoswami · 2026-11-01