NDIF 提问:层写入分块混合时,J-Lens 类解读方法还适用吗

SonglinYang4 · x · 2026-11-21

可解释性团队 NDIF 提出一个开放研究问题:当模型的各层不是写入单一 residual stream,而是写入 6 层一组的块、每层读取自己学到的混合组合时,传统的 logit lens(J-Lens)这类基于 residual stream 的解读透镜是否仍然有效?如何为这类架构开发新的透镜方法?

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →