机制可解释性新进展:万亿参数模型的大多数神经元已可理解

dair_ai · x · 2026-10-16

dair-ai 转推并推荐一篇机制可解释性研究,核心结论是:我们现在已能理解参数规模高达数万亿的模型中的大多数神经元,作者认为机制可解释性的前景可能远比此前预想的要好。配图展示了 ConvNeXt 各层残差流的可视化地图:每条线追踪一个图像位置从第一层到最后一阶段的演化,可见「动物脸部」「红色色块」「文字招牌」「草地」「天空」等特征群如何在层间逐渐聚拢或分化,直观呈现模型内部表征的组织方式。作者认为这类工作是可解释性领域最需要的研究方向。