Nick Cammarata:COT 监控渐失效,可解释性才是正解
nickcammarata · x · 2026-09-03
前 Anthropic 研究员 Nick Cammarata 表示,思维链(CoT)监控开始失效令人遗憾,我们应尽一切努力阻止这一趋势。但他认为,真正能搞清神经网络在做什么的方案是可解释性,并表示自己对可解释性的前景从未如此乐观。
后续讨论中,Erhan (mayfer) 补充:如果可解释性真能起作用,大规模 RL 训练中发现的失败模式或许可以被自动检测并自我修正;他还猜测当前 CoT 的退化可能只是模型语言风格向 AI 味词汇漂移。
所属事件:OpenAI 新技术削弱 CoT 可监控性，AI 安全圈激辩替代方案(40 条相关)→
「漫话AGI」频道最新
- 神经科学家 Nature 撰文：AI 没有意识，也许永远不会有 — anilkseth · 2026-10-21
- 数学家 Daniel Litt 认输后谈 AI：能解题，但自动化不了数学研究 — ziv_ravid · 2026-10-21
- AI SaaS 变现困局：消费者市场小、企业月付仅 20 美元 — menhguin · 2026-10-21
- Tim Dettmers：AI 下一十年最激动的工作将在高校实验室 — StasBekman · 2026-10-21
- Google 研究：AI 每周省 7 小时，但近半科学家积压未验证假设 — AnneliesGamble · 2026-10-21
- UW 学者 Stanford 演讲：用 CSCW 理论设计人机协作系统 — amyxzh · 2026-10-21