Chain Lens 方法细节:对比解码、注意力掩码与隐藏状态重注入三件套
voooooogel · x · 2026-11-12
voooooogel 公开 chain lens 的方法与伪代码:先用 J-lens 把隐藏状态传输到末层基底,再用 MTP 头在该隐藏状态与输出 token 上滚动生成 token 序列。三个关键改进:
- 对比解码:不直接 argmax MTP 头,而是对末层隐藏状态先验(对多个隐藏状态取平均得到)做对比解码——问的是「哪个 token 相对通用隐藏状态最能证明这个特定隐藏状态」;
- 注意力掩码:限制 MTP 头只 attend 自己生成的 token 链,迫使它从隐藏状态而非 prompt 提取信息;
- 隐藏状态重注入:持续把传输后的隐藏状态注回 MTP 头,否则会出现类似 J-lens 论文 workspace ablation 的常见完成(如整数等通用值)。
所属事件:Chain Lens：免训练从模型激活读出多 token 概念(6 条相关)→
「研究」频道最新
- Intology 创始人在 YC 论文俱乐部：药物临床失败主因是选错靶点 — yusufroohani · 2026-11-12
- DeepMind 提出 FlipTest 基准:视频世界模型全部不及格,最好模型低于随机猜 — AlexGDimakis · 2026-11-12
- AI 模型用巴西调查数据预测龋齿高危人群，服务公卫规划 — Brighter-Side-News · 2026-11-12
- Meta FAIR 开源 e-means：比 Lloyd 算法快 10 倍、损失更低的 k-means — generativist · 2026-11-12
- Google 联合 Artificial Analysis 推 MKA benchmark，专查智能体交付物 — OnlineInference · 2026-11-12
- ICLR 审稿「数学平凡」批评失效？AI 能证明一切改变评审标准 — nanjiang_cs · 2026-11-12