MIT NLP 组提出 Latent Lattice:给残差流加一条横向计算轴
viksit · x · 2026-11-21
MIT NLP 小组转发介绍新架构 Latent Lattice Language Models (LLLMs)。现有语言模型每个 token 只沿单一纵向残差流计算(逐层读写记忆、过 MLP、解码下一 token);LLLM 在这条垂直流之外增加一条水平的「Latent Lattice(潜格)」计算轴,用循环潜变量(recurrent latents)扩展残差流的计算量,思路是 RNN 与 Transformer 的结合。
属于新架构方向的早期研究,详细实验见原线程。
「研究」频道最新
- Claude系统卡曝已训练蛋白质序列,生物基础模型或被通用模型取代 — chaitjo · 2026-11-22
- Axiom 招募药企合作:出钱跑药物实验,资产 100% 归你 — cjmaddison · 2026-11-22
- 神经网络进化骑手浏览器竞速,能看着 AI 学会跟车与冲刺 — AjdDavison · 2026-11-22
- Lean 与 Mathlib 称 Alpöge 与 Claude 的黎曼猜想证明已验证正确 — queenofartists · 2026-11-22
- AlphaProof Nexus 用 Lean 形式化证明解决量子光学悬而未决问题 — dair_ai · 2026-11-22
- Lean 社区验证 1700 万行代码,确认 Claude 参与证明黎曼猜想 — Polymarket · 2026-11-22