Chain Lens:借 MTP 头免训练把单 token 透镜扩展成多 token 可解释性读出

voooooogel · x · 2026-11-12

voooooogel 发布 LessWrong 文章《The Chain Lens [interim]》,介绍其正在开发的新可解释性技术 chain lens:把 J-lens 这类单 token 隐藏状态透镜扩展为多 token 读出,且无需任何训练。

核心思路:开源模型早已普遍搭载 MTP(multi-token prediction)头,它接收隐藏状态并预测未来 token,原本用于投机解码;作者发现可以直接把 J-lens 传输后的隐藏状态喂给 MTP 头,像语言模型一样采样,从而滚动生成一串 token 来「读出」隐藏状态内容。结合对比解码(contrastive decoding,以通用隐藏状态为先验)等微调后效果进一步提升。