东北大学团队提出 LLM 概念归纳头双通路模型

东北大学 David Bau 团队（Sheridan Feucht、Eric Todd、Byron Wallace 等）发布论文《The Dual-Route Model of Ind…》，揭示大模型中的双通路路由机制：概念归纳头按词义进行归纳复制，而非逐 token 机械复制。作为补充，David Bau 还提到学生团队正在探索「Jacobian lens」技术，可总结注意力头组合的 OV 变换，并在视觉语言模型中意外获得优于 logit lens 的读出效果。

2026-09-30 ~ 2026-09-30 · 2 条相关