MIT 与 Adobe 提出 Latent Lattice 语言模型新架构
MIT 与 Adobe 研究者(Shivam Duggal、William Freeman、Antonio Torralba 等)提出 Latent Lattice Language Models(LLLMs)架构:现有语言模型让每个 token 沿单一残差流垂直逐层计算,而该架构为 Transformer 增加横向计算轴。实验显示 406M 参数模型的 perplexity 从 15.41 降至 14.40。
2026-11-19 ~ 2026-11-20 · 3 条相关
- MIT与Adobe提出Latent Lattice架构:406M模型 perplexity 从15.41降至14.40 — burny_tech · 2026-11-19
- 研究者提出 Latent Lattice 架构,给 Transformer 加横向计算轴 — burny_tech · 2026-11-19
- 在残差流之外加横向计算轴:Latent Lattice 语言模型构想 — HanGuo97 · 2026-11-20