神经科学家回应 Goodfire:可解释性乐观论需正视生物脑的多义性
patrickmineault · x · 2026-10-18
nickcammarata 发长文称机制可解释性可能是当下最重要的科学问题——不搞清模型内部在做什么就无法解决对齐。他早期在 OpenAI 做机制可解释性时因网络像纠缠的乱结而悲观,当时原始工具只能读懂约 2% 的神经元;而用现代 agentic 工具深入查看后,万亿参数级模型的绝大多数神经元都是可读的。
神经科学家 HistedLab 回应表示尊重但提出脑科学视角:多义性(polysemanticity)和分布式表征在生物大脑中广泛存在,这本身就是他职业生涯的研究主题,暗示「可读性」问题的复杂性不能只从 AI 侧乐观推断。
「漫话AGI」频道最新
- 数学家:成页的平凡分析其实很有效,AI 让写起来前所未有地容易 — jessi_cata · 2026-10-18
- Ezra Klein 连做 6 期 AI 播客，专破左翼“AI 是泡沫”论 — Miles_Brundage · 2026-10-18
- Furman 对比：Anthropic 员工预期 2030 年 GDP 增 17.1%，FOMC 仅 2% — soumitrashukla9 · 2026-10-18
- Sentdex:模型迭代快到测不过,家庭智能体蜂群时代将至 — Sentdex · 2026-10-18
- Reddit 长文论证：AI 能否有感受并无逻辑依据否定 — s0me__dude · 2026-10-18
- 吴恩达:AI for Science 将成冗词,用 AI 的化学家只是化学家 — andrewgwils · 2026-10-18