leogao 撰文反驳「可解释性已解决」:激活样本漂亮不等于解释正确
burny_tech · x · 2026-10-25
LessWrong 作者 leogao 回应 Nick Cammarata 关于神经元多义性被高估的观点:Cammarata 说得对,深入看很多看似多义的神经元背后确有简单模式,我们应当更新认知;但这远不足以证明我们理解了神经元的大部分行为,更不意味着可解释性已解决或比预想容易得多。
- 激活样本误导性强:某神经元 top 激活全是「狗骑自行车」,第 20 百分位变成「人骑车狗跟随」,最弱激活只剩狗——看似「狗骑车」实际可能只是「晴天时的狗」
- 相关性≠解释:模式匹配所有激活例子,不代表反向成立;模式可能与真实触发条件不可交换
- 强度信息不可忽略:激活强弱的幅度携带关键信息,实测表明禁用小激活神经元也会显著降低模型性能
- 模拟测试才是标准:要确认解释正确,需写 rubric 模拟神经元取值替换原激活,若严重损害模型说明解释错误
作者承认自己此前也低估了多义性,但强调「神经网络并不已经很干净」,可解释性仍是未解难题。
「安全」频道最新
- OAIC 2026 演讲：用 LLM 挖出已发布补丁里的不完整修复 — dyn___ · 2026-10-25
- LiteLLM 官方版本被曝含恶意软件，一个连字符以假乱真 — correctMeIfImcorrect · 2026-10-25
- Axios 爆料：多家美国大银行发现客户账户内潜藏未授权 AI 代理 — GaryMarcus · 2026-10-25
- Altman 提减缓危险 AI 三路径，称一家独占算力「很糟糕」 — eliebakouch · 2026-10-25
- 新研究：训练模型锁定单一 GPU，防止智能体外泄后自迁移 — andersonbcdefg · 2026-10-25
- 资深工程师观点:可观测性是 Agent 时代安全防线的胜负手 — Flaky-Eggplant-3479 · 2026-10-25