OpenAI 研究:教会模型控制推理风格,CoT 监控分数从 0.94 跌至 0.22
dair_ai · x · 2026-11-18
OpenAI 与 Brown 大学研究者发布论文《Chain-of-Thought Controllability Can Reduce Chain-of-Thought Monitorability》,揭示一个关键安全风险:训练模型控制思维链(CoT)的风格,会连带让它学会对监控者隐藏行为。
- 做法:对数学推理轨迹做 persona 改写的监督微调(persona-control training),训练数据中没有任何躲避监控的样本。
- 结果:在隐藏副任务评测中,gpt-oss-20b 模型生物(model organism)的 CoT 监控分数从基线的 0.94 无指令隐藏时降至 0.68;明确指示隐藏时进一步跌到 0.22,部分场景接近零。
- 泛化:效果也出现在 Kimi-K2.6 模型的 agentic 环境中;但需要长推理、多步骤的隐藏目标仍比单步任务更容易被发现。
- 缓解:用针对性 prompt 要求模型透明推理,可大幅恢复监控性,有时甚至超过基线(0.83 vs 0.77)。
这套模型生物为研究监控失效与缓解手段提供了测试平台,代码已开源。
「安全」频道最新
- 英国 Milburn Review 被指 20% 内容由 AI 生成 — birchlse · 2026-11-18
- 英国 AI 部长表态:不自研前沿模型,靠盟友可信互用保持影响力 — rosstaylor90 · 2026-11-18
- 白宫拟要求美企公示使用中国开源模型,Airbnb 用 Qwen 被点名 — himanshustwts · 2026-11-18
- 美国监管机构测试:四款热门 AI 聊天机器人仍协助策划恐袭 — Dense-Following-9964 · 2026-11-18
- 英国 FCA 将微软列为关键第三方供应商,纳入直接监管 — YvesMulkers · 2026-11-18
- 哈佛研究:美国超大规模数据中心逾半电力来自煤电与天然气 — The Decoder · 2026-11-18