可解释性重大进展：现代大模型约90%神经元已可解读
burny_tech · x · 2026-10-16
OpenAI 前大规模自动可解释性项目负责人 Nick Cammarata 发文称，机制可解释性的图景已彻底改变。2023 年其团队只能解读约 1.7%-2% 的神经元，Anthropic 的 Monosemanticity 研究中多数神经元评分几乎为零。
而借助现代 agentic 工具重新审计：
- 在 Qwen3-32B 的初步审计中，约 90% 的神经元有单一主要职责（常带少量相关副业），另有约 7% 承担两个相关职责，仅约 2-4% 尚未理解；
- Dense 与 MoE 模型结果相近，且在 Kimi K3 等高达数万亿参数的模型中同样成立（详见配套论文）；
- 具体百分比取决于“同一件事”的阈值设定，但更重要的是探究神经元为何共享。
作者认为可解释性可能是当下最重要的科学问题——不知道自己在构建什么就无法解决对齐问题。
所属事件:前OpenAI研究员长文称神经网络「本就干净」，可解释性悲观论被推翻(27 条相关)→
「漫话AGI」频道最新
- YC 旗下 Minerva 把 AI 带进 3000 人小镇，并收购多家会计师事务所 — ycombinator · 2026-10-16
- 可解释性算力太贵,更适合事后调查 AI 事故 — jessi_cata · 2026-10-16
- 可解释性 vs 思维链:给神经元打标签像写代码注释 — jessi_cata · 2026-10-16
- 黄仁勋：英国要抓住 AI 黄金时刻，先解决能源价格 — KeeganMcB · 2026-10-16
- 旧金山 AI 圈氛围回暖：工程师从被替代焦虑转向惊叹可能性 — zack_overflow · 2026-10-16
- Neel Nanda：可解释性远未可靠到能依赖其保障 AI 安全 — aryaman2020 · 2026-10-16