可解释性解决了吗：研究者激辩模型理解程度与价值

10 月 16-17 日,ARC(Alignment Research Center)研究员、前 OpenAI superalignment 成员 Jacob Hilton 发起了一场关于「可解释性是否已解决」的大讨论,Neel Nanda 等研究者转发参与。Hilton 的核心论断是:我们对前沿语言模型内部认知的理解远不足 0.01%,且若该领域不进行根本性革新,这一比例还会随模型能力提升继续下降——模型规模越大,越难被完整理解,而非越容易。

已确认

• ARC 公开 AlgZoo 项目:一系列执行算法任务的微型 RNN 和 transformer,参数量仅 8 到 1408 个,专门检验任何「完全理解模型」的雄心方案。其中一个 432 参数的 RNN(任务是找序列中第二大的数,权重小到能塞进一条推文),当前可解释性技术仍无法完全解释。
• Hilton 检视 Anthropic 可解释性团队《On the Biology of a Large Language Model》等论文:模型计算 36+59 的详细归因图包含 88 个节点、2099 条边,大量节点缺少可读标签;论文的 graph completeness 忠实度指标在该图上典型得分仅约 50%(Figure 32)。
• 结构性论据:即便给每个神经元写好描述也不够,因为神经元数量与参数量均按指数增长且比值在指数级下降,逐神经元解释路线与规模扩张天然脱节;完整理解还须解释神经元如何连接成电路,而他判断这方面进展「并不乐观」。
• Hilton 回顾 2020 年与 Nick Cammarata 等人在 Distill 发表的《Understanding RL Vision》,认为其中核心难题至今大多未解。

尚未确认

• 「前沿大模型不知为何反而更容易理解」这一常见反驳,Hilton 认为举证责任在主张方,线程中未获证据支持。
• 对「部分理解(如 0.01% 甚至 0.0001%)也有用」的观点,Hilton 本人认可其价值,但强调这与「通过理解一切解决对齐」是不同主张;同行间仍有分歧。

为什么重要

• Hilton 指出,领域内部分同行的无限乐观正给公众描绘不切实际的可解释性现状图景。这场讨论直接挑战「可解释性接近解决」的叙事,为机械可解释性「务实派 vs 雄心派」之争提供了具体基准(AlgZoo 小模型)与量化证据(忠实度得分)。

2026-10-16 ~ 2026-10-17 · 22 条相关

• Distill 经典之作:用归因方法解剖强化学习视觉模型,作者称核心难题至今未解 — JacobHHilton · 2026-10-16
• 【源头】ARC 研究员:人类对前沿模型内部认知的理解不足 0.01% — JacobHHilton · 2026-10-16
• 【源头】ARC 发布 AlgZoo:432 参数的小模型,目前仍无法完全解释 — JacobHHilton · 2026-10-16
• 432参数小模型仍无法被完全理解:前OpenAI研究员展示可解释性极限 — JacobHHilton · 2026-10-16
• 可解释性争论:ARC 研究员称同行乐观给公众不切实际图景 — JacobHHilton · 2026-10-16
• 可解释性圈争论:小模型特征更粗,是否更难理解? — giosullutrone99 · 2026-10-16
• DeepMind 研究员 Hilton:模型变大特征更清晰,但可解释性远未跟上 — JacobHHilton · 2026-10-16
• 回应常见质疑:前沿大模型会更易理解吗 — JacobHHilton · 2026-10-17
• 研究员断言:我们对前沿模型内部的理解不足0.01% — JacobHHilton · 2026-10-17
• 神经元数指数增长,描述能力却越落越远 — JacobHHilton · 2026-10-17
• 完整理解需解释电路,现状"并不乐观" — JacobHHilton · 2026-10-17
• 从神经元到电路:可解释性的下一关同样不乐观 — JacobHHilton · 2026-10-17
• 论文精美图示背后:Claude 3.5 Haiku 加法解释的"小字条款" — JacobHHilton · 2026-10-17
• 打开"详细归因图":88节点2099条边,只为解释36+59 — JacobHHilton · 2026-10-17
• 【源头】归因图88节点解释一次加法,忠实度得分仅约50% — JacobHHilton · 2026-10-17
• 88 节点 2099 条边：模型做 36+59 的内部电路长这样 — JacobHHilton · 2026-10-17
• 可解释性警报：88 节点加法电路的忠实度得分仅约 50% — JacobHHilton · 2026-10-17
• 特征与电路随规模变清晰？论文：只是指数规模下的缓慢改善 — JacobHHilton · 2026-10-17
• 可解释性研究者：432 参数小模型都看不懂，别指望完全理解大模型 — JacobHHilton · 2026-10-17
• 可解释性之争:理解前沿模型 0.01% 也有用吗 — JacobHHilton · 2026-10-17
• 「可解释性解决了吗」大讨论:模型越大规模越难完全理解 — NeelNanda5 · 2026-10-17
• Jacob Hilton 澄清：graph completeness 是完整性而非忠实性 — JacobHHilton · 2026-10-17