博主提出让模型读取自身权重自证理解的可解释性实验

menhguin · x · 2026-11-03

博主 @menhguin 在讨论可解释性实验时提出一个更激进的想法：让开源模型直接查看自己的权重和激活值，对比 post-training 前后的差异，甚至猜测自己的输出 token——如果能做到，将以一种「难以伪造」的方式证明模型理解了自身内部机制。

他同时谈到「模型自我编辑」的有趣之处：目标模型和解释模型在同一参数上经历同一种前向传播，理论上大幅缩小了混杂因素的空间（他认为解释一个模型最好由同类模型来做）。并补充承认这类行为不会泛化，窄而具体的行为更有可能像彩票一样被打开或关闭。