Chain Lens：免训练从模型激活读出多 token 概念
vgel(Raymond Douglas 合著)在 LessWrong 发表《The Chain Lens [interim]》并放出论文初稿，提出一种无需训练即可从模型激活中恢复多 token 概念的可解释性技术 chain lens，并报告其初步实验表现良好。
已确认
- 方法核心：把 logit lens、J-lens 这类单 token 可解释性方法扩展为多 token 读出：先用 J-lens 把隐藏状态传输到末层基底，再借模型的 MTP(multi-token prediction)头在该隐藏状态与输出 token 上滚动生成 token 序列，全程免训练，用于把模型隐藏状态「言语化」(verbalize)。
- 三项关键改进：对比解码(不直接取最大概率，效果最显著的是对通用隐藏状态做对比解码)、注意力掩码、隐藏状态重注入；作者公布了方法与伪代码。
- 组合易用：J-lens 传输与 MTP 头采样几乎开箱即用地结合，团队仅稍作调整即获得更好结果。
- 实验结果：在 WorkspaceBench 上得分超过 J-lens；读取工作区内容任务表现良好；在自建的诗歌续写任务中，chain lens 的「虚构」(confabulation)比 oracle lens 更少，但作者不确定为何如此，原因待解。
尚未确认
- chain lens 在诗歌续写任务上虚构更少的原因尚未解释，作者明确表示待研究。
为什么重要
- 单 token 透镜长期难以捕捉跨 token 的概念结构；chain lens 提供了一条免训练、近乎开箱即用的多 token 读出路径，若结果稳固，可为模型内部概念审计与可解释性研究提供新工具。
2026-11-12 ~ 2026-11-12 · 6 条相关
- 第 1 集:Chain Lens：免训练从模型激活读出多 token 概念(2026-11-12,6 条)
- 第 2 集:团队仅花 5 美元解释 Qwen 全部 110 万神经元(2026-11-12,2 条)
- 第 3 集:vgel 团队推出 Loom Lens：把 MTP 头当语言模型树状采样(2026-11-12,2 条)
一手来源
- Chain Lens:借 MTP 头免训练把单 token 透镜扩展成多 token 可解释性读出 — voooooogel ·
- chain lens 无训练读取模型多 token 隐状态，WorkspaceBench 得分超 J-lens — voooooogel ·
- Chain Lens 读工作区内容比 Oracle Lens 更少「虚构」,原因待解 — voooooogel ·
- 【源头】chain lens 无训练读取模型多 token 隐状态，WorkspaceBench 得分超 J-lens — voooooogel · 2026-11-12
- 【源头】Chain Lens:借 MTP 头免训练把单 token 透镜扩展成多 token 可解释性读出 — voooooogel · 2026-11-12
- Chain Lens 方法细节:对比解码、注意力掩码与隐藏状态重注入三件套 — voooooogel · 2026-11-12
- Chain Lens 组合近乎开箱即用,对比解码对通用隐藏状态提升最明显 — voooooogel · 2026-11-12
- 【源头】Chain Lens 读工作区内容比 Oracle Lens 更少「虚构」,原因待解 — voooooogel · 2026-11-12
另有 1 条近重复转述:Sauers_