工程笔记:用梯度蒸馏训练tuned lens探针
kevrussell · x · 2026-07-07
作者分享其设计“梯度训练版 tuned lens(Belrose 风格)”的方案,用以检验可解释性探针的有效性:对每层学习一个仿射变换 A_L(以恒等初始化,从 logit lens 起步)、用梯度下降最小化与模型自身最终 logits 的 KL 散度(蒸馏目标,而非对隐藏态做 MSE)。数据来自真实语料的多个预测位置,并在留出的事实问答集合上评估该探针能否更早(更浅层)复现答案。
kevrussell · x · 2026-07-07
作者分享其设计“梯度训练版 tuned lens(Belrose 风格)”的方案,用以检验可解释性探针的有效性:对每层学习一个仿射变换 A_L(以恒等初始化,从 logit lens 起步)、用梯度下降最小化与模型自身最终 logits 的 KL 散度(蒸馏目标,而非对隐藏态做 MSE)。数据来自真实语料的多个预测位置,并在留出的事实问答集合上评估该探针能否更早(更浅层)复现答案。