Cammarata 长文:万亿参数模型的大多数神经元已可解读
CatAstro_Piyush · x · 2026-10-16
Nick Cammarata(OpenAI 早期机制可解释性 work 共同作者、后主导首个大规模自动化可解释性项目)发布长文,提出一个乐观的工作假说:神经网络「本来就是干净的」。
- 早期悲观源于工具原始:当时自动化可解释性只能让约 2% 的神经元变得可读,网络看起来像任意缠绕的结
- 用现代 agentic 工具深入观察后,图景完全不同:直到万亿参数规模的模型,绝大多数神经元与电路都可读
- 他认为早期模型生物中的多义性并非源于叠加,而是若干普通、大多可修复的问题;对齐的前提是理解我们在构建什么,机制可解释性可能是当下最重要的科学问题
引用转发中 cxgonzalez 补充观点:doomers 本身就是文明自我纠错机制的一部分——AI 风险越明显,可解释性等领域越能吸引人才与资本。
所属事件:Goodfire 联创长文称神经网络本就干净，可解释性远超预期(37 条相关)→
「漫话AGI」频道最新
- 在 P2P 房间里与 agent 对话测试，体验微妙到让人恍惚 — sull · 2026-10-16
- Yudkowsky 2008 年已预判「无新洞见造出 AGI」，正在应验 — jd_pressman · 2026-10-16
- iandanforth 补充：用流程和护栏兜底 AI 委派，需要全职团队投入 — iandanforth · 2026-10-16
- e/acc 创始人：Agent 是「数字动作的自动补全」 — beffjezos · 2026-10-16
- 什么样的任务才真正能委派给 AI：结果可验证且方法无需被审视 — iandanforth · 2026-10-16
- 研究者驳「理解神经元即理解网络」：误差会复合放大 — StephenLCasper · 2026-10-16