Trask:Transformer 权重向量是人类概念检测器,但大量概念仍缺失

iamtrask · x · 2026-11-12

Andrew Trask（iamtrask）发文讨论 Transformer 可解释性：权重矩阵中每一列向量本质上都是一个并行的概念检测器，低层概念在网络前段被检测，再由后段更高层的检测器组合成抽象概念。

他指出这些向量初始时语义为空，随后被网络抓取数据、购买数据、用户日志和人工标注等（本质上都是人类产出）填充。但模型仍存在大量概念盲区，因为人类并不会把自己使用的全部概念及概念间的联系都写下来——即便写了，前沿实验室也未必拿到这些数据。