在残差流之外加横向计算轴:Latent Lattice 语言模型构想

HanGuo97 · x · 2026-11-20

研究者 Shivam Duggal 提出 Latent Lattice Language Models(LLLMs):现有语言模型让每个 token 沿单一残差流垂直计算(逐层读写记忆、施加 MLP,最后解码下一个 token),该工作尝试在此基础上增加一条水平的计算轴——Latents 的 Lattice(格点),让不同位置的 latent 之间产生流动与交互。

作者称之为「RNN 与 Transformer 的握手」,转发的 Han Guo 等人认为 latent 之间应如何流动与交互仍有很大探索空间,属于架构层面值得关注的探索方向。

所属事件:MIT 与 Adobe 提出 Latent Lattice 语言模型新架构(3 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →