chain lens 无训练读取模型多 token 隐状态，WorkspaceBench 得分超 J-lens
voooooogel · x · 2026-11-12
vgel 与 Raymond Douglas 发布新论文初稿《The Chain Lens》，提出一种从模型激活中恢复多 token 概念的技术。
- 方法：把 logit lens、J-lens 这类单 token 可解释性方法，通过对 MTP（multi-token prediction）头做对比式解码（contrastive decoding），扩展成多 token 序列读出，全程无需训练。
- 结果：在 WorkspaceBench 上，chain lens 在全部 28 个任务族上得分 0.42，超过 J-lens 的 0.32；在 21 个有公开分数的任务族上得 0.49，甚至超过按任务挑选最佳未训练 lens 组合的 hindsight composite（0.41）；在算术中间步骤等计算型中间任务上尤其强，超过训练过的 oracle lens（0.42 vs 0.25）。
- 局限：读出仍是碎片化的，擅长呈现模型计算出的具体多 token 概念片段（短语、算术中间值），不擅长呈现片段之间的关系。
所属事件:Chain Lens：免训练从模型激活读出多 token 概念(6 条相关)→
「研究」频道最新
- Intology 创始人在 YC 论文俱乐部：药物临床失败主因是选错靶点 — yusufroohani · 2026-11-12
- DeepMind 提出 FlipTest 基准:视频世界模型全部不及格,最好模型低于随机猜 — AlexGDimakis · 2026-11-12
- AI 模型用巴西调查数据预测龋齿高危人群，服务公卫规划 — Brighter-Side-News · 2026-11-12
- Meta FAIR 开源 e-means：比 Lloyd 算法快 10 倍、损失更低的 k-means — generativist · 2026-11-12
- Google 联合 Artificial Analysis 推 MKA benchmark，专查智能体交付物 — OnlineInference · 2026-11-12
- ICLR 审稿「数学平凡」批评失效？AI 能证明一切改变评审标准 — nanjiang_cs · 2026-11-12