alphaXiv 推出 29 分钟图解可解释性指南:从特征可视化到 SAE

CatAstro_Piyush · x · 2026-10-23

alphaXiv 发布长篇图解可解释性指南(29 分钟阅读),回应 Nick Cammarata 爆火文章《Neural Networks Are Already Clean》引发的争论——我们究竟是否接近逆向工程 LLM。指南从计算机视觉起步,覆盖:特征可视化、SHAP 与积分梯度、circuit tracing;再进入语言模型部分:attention heads、残差流、induction heads、激活导向(从放大 Golden Gate Bridge 特征到缓解评测意识)、消融/激活补丁/探针实验、多义性、叠加与 SAE 等。配图示例讲解 Transformer 单层中注意力与 MLP 如何读写残差流。文中引用 Dario Amodei「生成式 AI 系统是被种出来的,不是被造出来的」说明可解释性研究的必要性:模型可能因错误的原因给出正确答案。