从激活中恢复语义计算图

Odd_Tax4093 · reddit · 2026-07-08

作者在探索能否为 transformer 中的某个概念恢复“语义计算图”，而不是只看单个神经元或隐藏状态。为此，他构建了一个实验流程，收集 residual、attention 和 MLP 激活，测量神经元选择性，并把跨层激活组织成图来比较不同实体之间的语义重叠。