OpenAI 早期可解释性研究者：现在万亿参数模型绝大多数神经元已可读
tszzl · x · 2026-10-26
- nickcammarata（曾在 OpenAI 参与早期机制可解释性工作）发长文称，可解释性可能是当下最重要的科学问题：不了解模型内部在做什么，就无法解决对齐问题。
- 他当年因神经网络像“纠缠的乱结”而感到悲观——早期工具只能读懂约 2% 的神经元。
- 借助现代 agent 工具深入观察后，结论逆转：高达万亿参数规模的模型中绝大多数神经元都可读，电路结构清晰。
- 转发的 @saibojnal 推文进一步展示：模型神经元可解释到足以让模型朝目标修改自身权重（演示图显示用 6 步把模型改写为“蜜蜂人格”，清除对话后 4096 个被改写的神经元仍留在权重中，对未见问题该特质仍以 20% 频率出现、81% 回答合理）。作者预告将发博客详解。
「漫话AGI」频道最新
- 研究：美国三成 STEM 博士论文含 AI 生成文本 — 0xkarasy · 2026-10-26
- 2020 年提出的 11 大单细胞挑战至今无一完全解决 — Sauers_ · 2026-10-26
- 作者长文断言：所有通往 AGI 的路都通向「人类终结」 — danfaggella · 2026-10-26
- 博主警告:AI 时代大规模网络攻击或致全球关键基础设施瘫痪 — realsohamparekh · 2026-10-26
- Palmer Luckey 引 1791 年汉密尔顿文：反自动化争论两百年未变 — ctjlewis · 2026-10-26
- François Fleuret 发问：AI 之后，一个人的一天会是什么样？ — francoisfleuret · 2026-10-26