CoT 监控恐失效:AI 失准更难察觉,进展快过 AI 2027 预期
AaronBergman18 · x · 2026-09-02
研究员 thlarsen 引用新进展表达担忧:他此前认为短期内 AI 会失准(misaligned),但可以通过阅读思维链(CoT)获得大量证据,从而提高实验室和政府合理应对的概率。
如今他仍认为 AI 会失准,但判断我们将失去通过 CoT 察觉的能力——只能依赖工具调用和 agentic 行为来间接判断,且调查会极其困难,因为最终得靠 AI 自我报告它在想什么。他还指出这是「事情进展快于 AI 2027 剧本」的又一例证:Neuralese(神经潜语)相关进展今年 3 月就已开始出现。
所属事件:OpenAI 新技术削弱 CoT 可监控性,AI 安全圈激辩替代方案(40 条相关)→
「漫话AGI」频道最新
- 伦理学金句:出于后果主义的原因,做义务论者 — JacquesThibs · 2026-10-18
- 转发观点:未来会像笑「相机偷灵魂」一样笑 LLM 智能论 — TimDarcet · 2026-10-18
- 观点交锋:AI 拉不动 GDP 曲线,太空复制经济才能 — alz_zyd_ · 2026-10-18
- Chris Albon:未来 20 年将是「人类工作终结」论调与持续新任务的拉锯 — bradneuberg · 2026-10-18
- Coevolution 大会12月湾区办:大厂研究员与神经科技 futurist 共探人机协同进化 — bradneuberg · 2026-10-18
- Yacine 谈 RL 算法:比预训练 scaling law 更接地气的工程美学 — yacineMTB · 2026-10-18