OpenAI 研究:随规模扩大,模型思维链正变得越来越难监控
xiamengzhou · x · 2026-11-12
OpenAI 研究人员发布新发现:在模型训练生命周期中,no-CoT 能力(不依赖思维链也能做对)与 CoT 可控性都在持续提升,早期结果显示模型可能越来越难以通过其思维链被监控。
研究团队 (@aidenlow、@jeffreygwang) 指出,随着向更强的系统扩展,预训练的进一步进展将需要全新的可监控性方法。他们公开这些结果,希望推动关于「可监控性如何随规模演化」的研究——AI 系统能力越强,理解、监督与对齐它们的能力也需要同样雄心勃勃的进步。
所属事件:OpenAI 研究:模型能力越强,思维链越难监控(2 条相关)→
「安全」频道最新
- 美国议员推动AI测试审计披露法案,联邦标准设下限不封顶 — ShakeelHashim · 2026-11-12
- CyberBinGym 实测:标准二进制加固把 20 个 AI exploit 压到只剩 2 个 — dawnsongtweets · 2026-11-12
- CyberBinGym 结论:补丁发布到部署的窗口期正变得前所未有地危险 — dawnsongtweets · 2026-11-12
- 补丁即线索:给 Codex 补丁二进制后利用率从 10% 翻到 25% — dawnsongtweets · 2026-11-12
- CyberBinGym 设置:53 个项目 100 个真实漏洞,Agent 只拿 stripped 二进制 — dawnsongtweets · 2026-11-12
- Dawn Song 团队发 CyberBinGym:AI 仅凭二进制补丁 20% 可写出真实漏洞利用 — dawnsongtweets · 2026-11-12