新方法 Chain Lens:用 MTP 头零训练把单 token 可视化扩展到多 token
Sauers_ · x · 2026-11-12
转发 @voooooogel 的新博文:作者正在开发一种叫 Chain Lens 的可解释性新技术,用于把模型隐藏状态「 verbalize」(言语化)。
核心点:Chain Lens 能把 J-lens 这类只能观察单个 token 的 lens 扩展成多 token 版本,且无需任何训练,直接复用模型已有的 MTP(multi-token prediction)头实现。目前是 WIP 阶段更新,属于无训练复用现有组件做可解释性观察的新思路。
所属事件:Chain Lens:免训练从模型激活读出多 token 概念(6 条相关)→
「研究」频道最新
- Intology 创始人在 YC 论文俱乐部:药物临床失败主因是选错靶点 — yusufroohani · 2026-11-12
- DeepMind 提出 FlipTest 基准:视频世界模型全部不及格,最好模型低于随机猜 — AlexGDimakis · 2026-11-12
- AI 模型用巴西调查数据预测龋齿高危人群,服务公卫规划 — Brighter-Side-News · 2026-11-12
- Meta FAIR 开源 e-means:比 Lloyd 算法快 10 倍、损失更低的 k-means — generativist · 2026-11-12
- Google 联合 Artificial Analysis 推 MKA benchmark,专查智能体交付物 — OnlineInference · 2026-11-12
- ICLR 审稿「数学平凡」批评失效?AI 能证明一切改变评审标准 — nanjiang_cs · 2026-11-12