OpenAI 研究警告:模型越强,思维链将越难被监控
gleech · x · 2026-11-17
OpenAI 对齐团队发布研究报告,探讨预训练、架构、强化学习与模型生成数据如何影响思维链(CoT)可监控性,以「无 CoT 能力」与「CoT 可控性」两个代理指标衡量。结论是:随系统规模扩大,模型将通过 CoT 变得越来越难监控。
研究者 RaunoArike 在转发中提出关键质疑:报告的核心结论「无 CoT 能力由基座模型困惑度解释」值得商榷——架构改动(如 looped transformer)确实会在部分评测上超越困惑度的影响,而这些评测恰恰测量串行多跳计算与规划任务,正是「无言语化 scheming 风险」最令人担心的能力;架构无影响的评测多属知识检索,不出意料。
报告作者包括 Jeffrey G. Wang、Micah Carroll、Jakub Pachocki 等,指出 CoT 监控目前是其安全案例与可扩展监督的核心支柱,部分关键部署(如网络安全关键模型)已全轨迹监控 CoT。
「安全」频道最新
- 美国商务部新规封堵对华 AI 芯片出口漏洞,远程访问也需许可 — dbreunig · 2026-11-17
- 曝 OpenAI 曾拟超50亿美元收购可解释性公司 Goodfire 被拒 — ivan_bezdomny · 2026-11-17
- 报告:美国算力是对华 9 倍,放缓前沿也未必输速度 — trevposts · 2026-11-17
- LessWrong 长文批 Gemini 4 安全报告:未能证明失控风险低 — DKokotajlo · 2026-11-17
- Paul Christiano:最快 12 个月出现能推翻政府的 AI — Dwarkesh Podcast · 2026-11-17
- 桌面被攻破后他重构开发环境:编码 agent 一律赶进云端沙箱 — rseroter · 2026-11-17