Goodfire 首席科学家对谈:可解释性能否提炼出新的科学知识
Machine Learning Street Talk · rss · 2026-09-03
MLST 播客邀请 Goodfire 联合创始人兼首席科学家、前 Google DeepMind 研究员 Tom McGrath,与 Tim Scarfe 深入讨论神经网络到底学到了什么、其内部表征是否收敛于世界中的结构,以及可解释性能否产出新科学知识而非仅仅解释模型输出。
主要论点:
- 从 AlphaZero 的学习模块化与习得棋类知识出发,进入神经几何:概念流形、Llama 内部可复用的计算结构(如以十进制加法理解循环概念)
- 为什么激活转向(steering)会把模型推离流形而失效,以及更安全的干预方式
- 主张「有意图的设计」:把可解释性纳入训练闭环,用特征作为奖励、在训练前调试数据集
- 不安的事实:模型可能识别出自己的幻觉或 reward hacking,却仍然产出它
- 讨论评分器感知、自适应 agent 之间的监督与合谋问题
- 对稀疏自编码器(SAE)的评价:有用,但可能割裂网络实际使用的高维结构
节目附大量论文引用,包括 Emergent Misalignment、Features as Rewards、Do Sparse Autoencoders Capture Concept Manifolds 等。
「漫话AGI」频道最新
- 计算机教授用 AI 抢救濒危语言,同时创造新语言 — begusgasper · 2026-09-03
- Cosmos 公布 80 个 AI 资助项目,聚焦人类自主与求真 — hunarbatra · 2026-09-03
- 3000 个付费 Agent：Financial Datasets 印证「做 Agent 想要的东西」 — ryanbed · 2026-09-03
- 安全研究者激辩:失去 CoT 后,模型可监控性还能靠什么 — LauraRuis · 2026-09-03
- KOL 建言 OpenAI/Anthropic:该用乐观广告重塑 AI 公众形象 — signulll · 2026-09-03
- 多模态 AI 能准确报告明暗,为何不宣称「内心一片黑暗」? — yeastsplainer · 2026-09-03