前 OpenAI 可解释性负责人：万亿参数模型绝大多数神经元已可读
morqon · x · 2026-10-16
Nick Cammarata（曾合著 OpenAI 早期机制可解释性工作、后创办 J})发起讨论：可解释性可能是当下最重要的科学问题，因为不了解在构建什么就无法解决对齐。他早年对可解释性悲观，因为当时只有原始工具能读懂约 2% 的神经元；但用现代 agentic 工具深入观察后，图景完全不同——从早期模型到万亿参数模型，绝大多数神经元都是可读的，其电路可以被理解。
转发者 banburismus 补充了自己被刷新的可解释性认知：
- 泛化（generalisation）可能是表征结构的最重要因素，叠加（superposition）相比之下是极弱的力；
- 更深层的泛化可能通过协同工作的神经元社区实现，在残差流中形成流形（manifold）；
- 我们对 attention 的理解仍远不够，越看越发现更多发生在那里。
所属事件:「神经网络本就干净」引爆可解释性大争论(52 条相关)→
「漫话AGI」频道最新
- DHH:Starship 与 Grok 本应是欧洲的「斯普特尼克时刻」 — georgemillo · 2026-10-16
- Hinton 回击黄仁勋:他唱衰 AI 危险论是为了多卖英伟达芯片 — BlackHC · 2026-10-16
- Yudkowsky 怒斥可解释性新进展，转发者反驳「末日论者永远可以说不够」 — AlexTensor · 2026-10-16
- Beff Jezos：技术加速已到文明级拐点 — beffjezos · 2026-10-16
- 数据科学家自述:未来五年最稳的转型是转向 AI 工程 — mdancho84 · 2026-10-16
- 学者争论：AI 将超越人类做科学，欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16