Eric Michaud 谈可解释性的双重使命：描述模型算法并解释其为何被学到
burny_tech · x · 2026-11-01
在 ICML 首尔机制可解释性研讨会的一场五分钟闪电演讲（略有扩写的文字版）中，研究者 Eric J. Michaud 阐述了他对该领域愿景的思考，回应了近期关于「务实可解释性」的争论。
- 他认为理解神经网络是一门非常深的科学：即使冻结 AI 进展，研究当今模型也可能需要数十年甚至数百年，并会成为与基础科学一样具有文化意义的事业。
- 他提出深度学习的「理论」应包含两种理解：一是描述网络学到了什么算法（传统可解释性任务，甚至可以极细致地刻画）；二是解释网络为什么学到这些算法——这涉及优化与学习动力学，也可能涉及数据结构：数据的某些本质结构决定了网络为最优预测该数据而必须学到的内部结构。
「研究」频道最新
- 让 Agent 自管激活值：用 Control Vectors 探索模型自控实验 — sloppenheimer · 2026-11-01
- Claude 自主设计蝎毒蛋白结合剂:211 个送实验室验证 17 个结合成功 — shoumikgoswami · 2026-11-01
- HF 开源 DNA 基础模型 Carbon 全家桶:数据、模型与训练配方全公开 — LoubnaBenAllal1 · 2026-11-01
- Hugging Face 团队 Carbon-X:DNA 任务超越所有开源语言模型 — LoubnaBenAllal1 · 2026-11-01
- FineDNA 中训是 RL 生效前提：直接在 Qwen3-14B 上 RL 仅停留在随机水平 — LoubnaBenAllal1 · 2026-11-01
- Qwen3-14B 用对学习率做 FineDNA 中训：DNA 涨分且英文不掉 — LoubnaBenAllal1 · 2026-11-01