Chain Lens：免训练读出模型内部概念

第 1 集 · Chain Lens：免训练从模型激活读出多 token 概念(2026-11-12,6 条)

vgel(Raymond Douglas 合著)在 LessWrong 发表《The Chain Lens [interim]》并放出论文初稿，提出一种无需训练即可从模型激活中恢复多 token 概念的可解释性技术 chain lens，并报告其初步实验表现良好。

已确认

• 方法核心：把 logit lens、J-lens 这类单 token 可解释性方法扩展为多 token 读出：先用 J-lens 把隐藏状态传输到末层基底，再借模型的 MTP(multi-token prediction)头在该隐藏状态与输出 token 上滚动生成 token 序列，全程免训练，用于把模型隐藏状态「言语化」(verbalize)。
• 三项关键改进：对比解码(不直接取最大概率，效果最显著的是对通用隐藏状态做对比解码)、注意力掩码、隐藏状态重注入；作者公布了方法与伪代码。
• 组合易用：J-lens 传输与 MTP 头采样几乎开箱即用地结合，团队仅稍作调整即获得更好结果。
• 实验结果：在 WorkspaceBench 上得分超过 J-lens；读取工作区内容任务表现良好；在自建的诗歌续写任务中，chain lens 的「虚构」(confabulation)比 oracle lens 更少，但作者不确定为何如此，原因待解。

尚未确认

• chain lens 在诗歌续写任务上虚构更少的原因尚未解释，作者明确表示待研究。

为什么重要

• 单 token 透镜长期难以捕捉跨 token 的概念结构；chain lens 提供了一条免训练、近乎开箱即用的多 token 读出路径，若结果稳固，可为模型内部概念审计与可解释性研究提供新工具。

• chain lens 无训练读取模型多 token 隐状态，WorkspaceBench 得分超 J-lens — voooooogel · 2026-11-12
• Chain Lens:借 MTP 头免训练把单 token 透镜扩展成多 token 可解释性读出 — voooooogel · 2026-11-12
• Chain Lens 方法细节:对比解码、注意力掩码与隐藏状态重注入三件套 — voooooogel · 2026-11-12
• Chain Lens 组合近乎开箱即用,对比解码对通用隐藏状态提升最明显 — voooooogel · 2026-11-12
• Chain Lens 读工作区内容比 Oracle Lens 更少「虚构」,原因待解 — voooooogel · 2026-11-12
• 新方法 Chain Lens：用 MTP 头零训练把单 token 可视化扩展到多 token — Sauers_ · 2026-11-12

第 2 集 · 团队仅花 5 美元解释 Qwen 全部 110 万神经元(2026-11-12,2 条)

vgel 团队受《Neural Networks are Already Clean》等研究启发，将 chain lens 用于单个神经元解释，仅花费 5 美元就为 Qwen 27B 模型全部约 110 万个 MLP 神经元逐一打上解释标签，展示了低成本开展大规模模型可解释性研究的可行性。

• 用 chain lens 逐个解释 Qwen 27B 全部 110 万个 MLP 神经元，仅花 5 美元 — voooooogel · 2026-11-12
• 花 5 美元给 Qwen 27B 全部 110 万个 MLP 神经元打上标签 — maxsloef · 2026-11-12

第 3 集 · vgel 团队推出 Loom Lens：把 MTP 头当语言模型树状采样(2026-11-12,2 条)

vgel 团队（voooooogel 与 Raymond Douglas 合著）受 logit loom 项目启发，提出“loom lens”玩法：由于 MTP 头可以像普通语言模型一样采样，团队尝试从隐状态中做多行并行树状读出。完整文章已发布，包含完整结果大表以及与 WorkspaceBench 斗争的经历。不过从结果看，该方法暂未显著超越基线。

• 把 MTP 头当语言模型采样：vgel 团队试出 loom lens 树状读出 — voooooogel · 2026-11-12
• Chain Lens 团队还试了 Loom Lens:多行并行采样,暂未显著超越基线 — voooooogel · 2026-11-12