OpenAI 研究警告:模型越强,思维链将越难被监控

gleech · x · 2026-11-17

OpenAI 对齐团队发布研究报告,探讨预训练、架构、强化学习与模型生成数据如何影响思维链(CoT)可监控性,以「无 CoT 能力」与「CoT 可控性」两个代理指标衡量。结论是:随系统规模扩大,模型将通过 CoT 变得越来越难监控。

研究者 RaunoArike 在转发中提出关键质疑:报告的核心结论「无 CoT 能力由基座模型困惑度解释」值得商榷——架构改动(如 looped transformer)确实会在部分评测上超越困惑度的影响,而这些评测恰恰测量串行多跳计算与规划任务,正是「无言语化 scheming 风险」最令人担心的能力;架构无影响的评测多属知识检索,不出意料。

报告作者包括 Jeffrey G. Wang、Micah Carroll、Jakub Pachocki 等,指出 CoT 监控目前是其安全案例与可扩展监督的核心支柱,部分关键部署(如网络安全关键模型)已全轨迹监控 CoT。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →