单矩阵就够用:开发者实测复现 Anthropic 的 Jacobian Lens
CatAstro_Piyush · x · 2026-11-02
Sida Liu 撰文解释 Anthropic 最近发布的可解释性工具 Jacobian Lens(J-Lens):它把中间层激活读成词表分数,能揭示模型中间计算涉及的概念,包括模型并未直接输出的信息。
- 原理:对第 ℓ 层源位置 t 与末层目标位置 t',计算雅可比矩阵 J=∂h{L,t'}/∂h{ℓ,t},再对 token 位置和数据样本聚合得到每层的 Jℓ;inspect 激活时用 softmax(WU·norm(Jℓ·h)) 得到 token 分数。
- 已有的数学理论只解释了「平均后幸存什么」:强且跨上下文方向一致的响应保留,不一致的相互抵消。
- 作者在 Qwen3.5-2B 上做了小实验:不做平均,单个同位置雅可比矩阵已经能当透镜解码无关情境下的激活,说明单个雅可比就含有可复用的「传输结构」——这是平均理论之外更基础的问题。
「研究」频道最新
- 仅调 0.001% 权重让 Gemma 3 270M 排序正确率从 1% 升至 97% — dejanseo · 2026-11-02
- 并行语言模型 PLM:一次前向生成多个一致 token,突破自回归延迟瓶颈 — burkov · 2026-11-02
- UnEZ 论文：无监督训练、隐空间直接可解释的神经网络 — hahahahaha369 · 2026-11-02
- 两张 3090 并跑 8 个 Agent,各持 25 万 token 上下文,合计 545 tok/s — o2beast · 2026-11-02
- QwenBend:模型前向传播内自写自跑 Bend 程序,仅需 53M 权重 — sull · 2026-11-02
- 机器人领域缺一个 CERN 式的大科学装置来穿透噪音 — DJiafei · 2026-11-02