OpenAI 早期可解释性研究者:现代模型绝大多数神经元已可读
typewriters · x · 2026-10-16
前 OpenAI 早期机械可解释性研究者 nickcammarata 发长文,并与其相关的 Goodfire AI 董事会成员转发庆祝。核心判断:
- 可解释性「可能是当前世界上最重要的科学问题」——不知道自己在造什么就无法解决对齐
- 他曾在 OpenAI 参与早期机械可解释性工作并因此悲观:当时神经网络像「任意缠绕的结」,用原始工具只能读清约 2% 的神经元
- 借助现代 agentic 工具与更深入的审视,图景完全不同:直至数万亿参数规模的模型,绝大多数神经元都变得可读,其电路也可被理解
这条动态与 Goodfire AI(可解释性公司)同日官宣相关,被视为该方向的重要乐观信号。
所属事件:Goodfire 联创长文称神经网络本就干净，可解释性远超预期(37 条相关)→
「研究」频道最新
- UCSD团队提出数据集水印法，仅凭API输出即可检测训练数据盗用 — yuxiangw_cs · 2026-10-16
- EmbodiedEvo 让 Agent 传承经验：登顶 RoboDojo 榜单 — Aiden_Tech_Ai · 2026-10-16
- 审稿人吐槽 CHI 论文 Discussion 普遍不引用文献 — IanArawjo · 2026-10-16
- 研究者驳「理解神经元即理解网络」：误差会复合放大 — StephenLCasper · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16
- Agentic Search 只奖励最终答案，推理步骤是否忠实成疑 — burkov · 2026-10-16