OpenAI 前可解释性负责人:大模型绝大多数神经元已可读
tszzl · x · 2026-10-16
- nickcammarata(曾在 OpenAI 参与早期 mechinterp、并启动首个大规模自动化可解释性项目)发长文称:可解释性可能是当下最重要的科学问题,因为不知道模型内部在做什么就无法解决对齐。
- 他当年离开时偏悲观——用原始工具只能读懂约 2% 的神经元;但借助现代 agentic 工具深入观察后,从数万亿参数级别的模型中发现绝大多数神经元都可读、电路结构可理解。
- ladymcscope 借一张梗图("尖头的 kiki" vs "圆头的 bouba"神经元分类,尖头让激活变正、圆头推向负)调侃:正是这种神秘神经元让 mechinterp 走了三年弯路,tszzl 等大 V 转发传播。
所属事件:「神经网络本就干净」引爆可解释性大争论(52 条相关)→
「漫话AGI」频道最新
- DHH:Starship 与 Grok 本应是欧洲的「斯普特尼克时刻」 — georgemillo · 2026-10-16
- Hinton 回击黄仁勋:他唱衰 AI 危险论是为了多卖英伟达芯片 — BlackHC · 2026-10-16
- Yudkowsky 怒斥可解释性新进展,转发者反驳「末日论者永远可以说不够」 — AlexTensor · 2026-10-16
- Beff Jezos:技术加速已到文明级拐点 — beffjezos · 2026-10-16
- 数据科学家自述:未来五年最稳的转型是转向 AI 工程 — mdancho84 · 2026-10-16
- 学者争论:AI 将超越人类做科学,欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16