Nick Cammarata:COT 监控渐失效,可解释性才是正解
nickcammarata · x · 2026-09-03
前 Anthropic 研究员 Nick Cammarata 表示,思维链(CoT)监控开始失效令人遗憾,我们应尽一切努力阻止这一趋势。但他认为,真正能搞清神经网络在做什么的方案是可解释性,并表示自己对可解释性的前景从未如此乐观。
后续讨论中,Erhan (mayfer) 补充:如果可解释性真能起作用,大规模 RL 训练中发现的失败模式或许可以被自动检测并自我修正;他还猜测当前 CoT 的退化可能只是模型语言风格向 AI 味词汇漂移。
所属事件:OpenAI 新技术削弱 CoT 可监控性，AI 安全圈激辩监控替代方案(32 条相关)→
「漫话AGI」频道最新
- Yacine:模型智力已超我,但直觉与品味仍无可替代 — yacineMTB · 2026-09-03
- Mallow 主张:机器人应当是物理隔离的气隙系统 — mallow610 · 2026-09-03
- Yacine：想让 AI 做好某任务，就为它发布一个 RL 环境 — yacineMTB · 2026-09-03
- Sam Altman：下一代模型将「令所有人清醒」，责任重大 — davidpattersonx · 2026-09-03
- Agent 时代软件悖论:代码更便宜,可信赖的代码更贵 — viksit · 2026-09-03
- davidad 谈 AGI 终局：强制的过渡才是真正的 Bad End — davidad · 2026-09-03