NDIF 提问:层写入分块混合时,J-Lens 类解读方法还适用吗
SonglinYang4 · x · 2026-11-21
可解释性团队 NDIF 提出一个开放研究问题:当模型的各层不是写入单一 residual stream,而是写入 6 层一组的块、每层读取自己学到的混合组合时,传统的 logit lens(J-Lens)这类基于 residual stream 的解读透镜是否仍然有效?如何为这类架构开发新的透镜方法?
「研究」频道最新
- 高露洁论文:LLM 角色扮演消费者达90%人类信度或颠覆调研业 — 2C_ornot2C · 2026-11-21
- 黎曼猜想证明获完整形式化验证,专家称是「非常人性」的数学 — Kyrannio · 2026-11-21
- Hassabis 预言两年内 AI 攻克千禧难题,半年后黎曼猜想已有候选解 — Hesamation · 2026-11-21
- 让 GPT-2「睡觉」:冻结快照回放让旧知识保持率从 6% 提到 58% — Junior_Reputation639 · 2026-11-21
- ERC 评审拒信曝光:评审员直言不信 LLM 自动形式化 — marc_lelarge · 2026-11-21
- 陶哲轩谈 AI 数学竞赛:摘走果实,留下一片荒地 — yacineMTB · 2026-11-21