可解释性之争:Cammarata称神经元大多可解释,leogao发文反驳
burny_tech · x · 2026-10-19
- Nick Cammarata(Goodfire)发布长文《Neural Networks Are Already Clean》:主张早期模型 organism 中的多义性(polysemanticity)并非源于叠加(superposition),而是若干普通、大多可修复的问题;认为如今已能理解高达数万亿参数模型中的大多数神经元,机械可解释性的前景可能远比想象乐观(65分钟长文)。
- leogao 隔天发文《Neural networks are not already clean》回击:承认 Cammarata 的观察重要且正确——过去人们过早把神经元归为多义,深入看激活样本背后常有简单模式,导致高估了多义性程度,值得更新认知;但这远不足以证明我们已理解大多数神经元在做什么,更不能说明可解释性已解决或比预期容易得多。
- 这场顶级研究者间的分歧关系到可解释性研究的整体节奏判断,值得跟进入两文的完整论证。
「漫话AGI」频道最新
- AI 创作者怒怼反 AI 阵营:游戏开发者用 AI 比例远超调查数据 — AIandDesign · 2026-10-19
- Bostrom：把 GPT-6 称作 AGI 或许误解更少 — i_dg23 · 2026-10-19
- AI 老兵批 p(doom) 与 GDP 20% 预测：先拿出数据和统计 — hardimanjames · 2026-10-19
- 批评者称 Anthropic 5% 公益承诺无法弥补人类语料被商品化 — AlexTensor · 2026-10-19
- 前模型训练 PhD:LLM 太强,我庆幸自己转了部署岗 — niceuser45 · 2026-10-19
- 「失控野生 AI」真比坏人手上的 AI 更可怕吗? — StrategicHarmony · 2026-10-19