AI 安全研究者:OpenAI 放弃 CoT 可读性承诺,思维链本就靠不住
schwarzjn_ · x · 2026-09-03
- 安全研究者 David Krueger 与 Jacob Steinhardt 团队的jachiam0 等人就思维链(CoT)可解释性展开讨论。jachiam0 发表热门观点:CoT 可解释性天生脆弱,不可能成为长期 AI 安全的可靠后盾,不应把「思维链必须对人类可读」奉为原则,依赖该原则的策略注定失败,应发展远超 CoT 保真的可解释手段。
- Krueger 表示同意前半部分:CoT 从来撑不住,属于「教科书式的 AI 安全 hopium」,但它曾有用——产出了模型严重失准的证据;而且公众必须知道 OpenAI 已经放弃了维护 CoT 保真。
- 讨论 Context:围绕 OpenAI 不再承诺保持思维链可读性的争议,以及转向 action-only 监控的必要性。
所属事件:OpenAI 新技术削弱 CoT 可监控性，AI 安全圈激辩替代方案(40 条相关)→
「漫话AGI」频道最新
- 数学家 Daniel Litt 认输后谈 AI：能解题，但自动化不了数学研究 — ziv_ravid · 2026-10-21
- AI SaaS 变现困局：消费者市场小、企业月付仅 20 美元 — menhguin · 2026-10-21
- Tim Dettmers：AI 下一十年最激动的工作将在高校实验室 — StasBekman · 2026-10-21
- Google 研究：AI 每周省 7 小时，但近半科学家积压未验证假设 — AnneliesGamble · 2026-10-21
- UW 学者 Stanford 演讲：用 CSCW 理论设计人机协作系统 — amyxzh · 2026-10-21
- 研究投入 23 倍仍难挡研究生产率下滑，AI 尚未改写曲线 — ChenhaoTan · 2026-10-21