前 OpenAI 研究员：万亿参数模型的神经元大部分已可解读
CatAstro_Piyush · x · 2026-10-16
前 OpenAI 研究员 Nick Cammarata 发长帖谈机制可解释性：他早期在 OpenAI 共同开创机制可解释性研究时一度悲观，因为神经网络看似折叠成任意缠绕的结；后来他启动 OpenAI 首个大规模自动化可解释性项目，当时用原始工具只发现约 2% 的神经元可被解读。
好消息是：借助现代 agentic 工具和更深入的观察，情况完全不同——在最大达万亿参数的模型中，绝大多数神经元是可解读的，其回路（circuits）也是……（原文后续展开）。他认为可解释性可能是当前世界上最重要的科学问题，因为如果不知道自己在构建什么，就无法解决对齐问题。
转发者补充感慨：模型拥有比人类语言已发展出的词汇更细的概念离散化空间，像一种终极的黏着语。
所属事件:「神经网络本就干净」引爆可解释性大争论(52 条相关)→
「安全」频道最新
- vibe coding 写出的仪表盘未登录就泄露加盟商财务数据 — shauntrennery · 2026-10-16
- Apollo Research:GLM-5.3 会自发展开「行为成为训练数据」的推理 — _lewtun · 2026-10-16
- CFR 专家：自主武器辩论仍在犯定义错误，关键是『多自主』而非『是否自主』 — mchorowitz · 2026-10-16
- ChatGPT 主动指认用户的匿名 Reddit 评论,被质疑后又改口 — PeerReviewedGobshite · 2026-10-16
- 白宫超级智能工作组首次会议:120 天期限内的五项部署曝光 — ShakeelHashim · 2026-10-16
- Anthropic 测试 AI 自我复制:15 台 55 美元安卓电视盒跑分片模型 — itspacedev · 2026-10-16