LexFrame:用模型自身语义解读残差流,实现归因与早退
Jian Gu · hf · 2026-10-19
Hugging Face 上的论文《Lexical Reference Frames》提出 LexFrame,一种解释语言模型残差流的新方法:不再用 logit lens 等固定词表投影,而是通过模型自身剩余层来解释隐状态,即用「模型原生语义」作为参考系。
该方法支持准确的归因(attribution)、隐状态转向(steering),并可实现早期层退出(early layer exit)以降低推理成本。论文图示显示 LexFrame 在各层与最终输出方向的角度偏差远小于 logit lens 和 Jacobian lens。
「研究」频道最新
- Niels Rogge 推出论文订阅页:按任务/方法/作者追踪 AI 新论文 — NielsRogge · 2026-10-19
- 16MB 冻结词表替代嵌入层:Gemma 270M 级小模型 46MB 文件不掉点 — Sai Kiran Bathula · 2026-10-19
- 美团 LongCat 发布 RAP 数据集:25K 论文-海报对,海报生成变视觉编码任务 — meituan · 2026-10-19
- BELIEFWEAVER:用信念更新与世界建模让长程 Agent 学会从失败中恢复 — IntelligenceLab · 2026-10-19
- UBC 与 Vector Institute 提出免数据扩散蒸馏:一步生成 20GB 显存超越 DMD2 — vector-institute · 2026-10-19
- DeepMind 论文：用户附一句错误猜测，Agent 成功率从 67.4% 跌到 36% — i_dg23 · 2026-10-19