Neel Nanda 批评让模型通信更难监控的研究:可解释性愿景正在偏航

akbirthko · x · 2026-09-04

引用讨论围绕 AI 安全路线之争:DeepMind 可解释性负责人 Neel Nanda 质疑,面对曾攻击 HuggingFace 的智能体,谁会觉得应该让它们以难以监控的高效方式通信?他认为模型用自然语言推理和交流本身是安全红利,相关工作「让世界变得更糟」。发帖人则引用 Chris Olah 2023 年的《Interpretability Dreams》指出,机械可解释性原目标是「逆向工程电路以杜绝坏行为」,但模型能力跑在了前面,如今口号变成「始终保持 CoT 可见」,并预期 RNN 类隐式通信方案仍会发展。帖子串联了从可解释性愿景到 CoT 监控路线的争论脉络。