MIT NLP 组提出 Latent Lattice:给残差流加一条横向计算轴

viksit · x · 2026-11-21

MIT NLP 小组转发介绍新架构 Latent Lattice Language Models (LLLMs)。现有语言模型每个 token 只沿单一纵向残差流计算(逐层读写记忆、过 MLP、解码下一 token);LLLM 在这条垂直流之外增加一条水平的「Latent Lattice(潜格)」计算轴,用循环潜变量(recurrent latents)扩展残差流的计算量,思路是 RNN 与 Transformer 的结合。

属于新架构方向的早期研究,详细实验见原线程。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →