新方法 Chain Lens:用 MTP 头零训练把单 token 可视化扩展到多 token

Sauers_ · x · 2026-11-12

转发 @voooooogel 的新博文:作者正在开发一种叫 Chain Lens 的可解释性新技术,用于把模型隐藏状态「 verbalize」(言语化)。

核心点:Chain Lens 能把 J-lens 这类只能观察单个 token 的 lens 扩展成多 token 版本,且无需任何训练,直接复用模型已有的 MTP(multi-token prediction)头实现。目前是 WIP 阶段更新,属于无训练复用现有组件做可解释性观察的新思路。

所属事件:Chain Lens:免训练从模型激活读出多 token 概念(6 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →