MIT与Adobe提出Latent Lattice架构:406M模型 perplexity 从15.41降至14.40
burny_tech · x · 2026-11-19
MIT 与 Adobe 研究者(Shivam Duggal、William Freeman、Antonio Torralba、Richard Zhang、Eli Shechtman 等)发布论文《Latent Lattice Language Models》(LLLM),提出区别于加深层数或循环层的新扩展方向:提升模型维持的活跃计算状态数量。
- 在每个 Transformer 层加入沿时间递归的横向隐状态流(Lattice of Latents),与纵向 residual stream 并行;这些状态跨 token 持续存在,直接调控注意力、KV-cache 写入、MLP 计算与解码,区别于 Transformer-SSM 混合架构中仅作序列混合内存的递归状态。
- 在 20B FineWeb-Edu tokens 上训练,406M 参数的 Lattice 模型验证困惑度从参数对齐 Transformer 的 15.41 降至 14.40,相当于匹配参数量多 50% 的常规 Transformer。
- 与 hyper-connections、input residuals 等残差流增强可叠加:困惑度进一步从 15.41(基线)/14.22(仅残差增强)降到 13.61。
- 在 Gated DeltaNet、Mamba-2、Triadic GDN 及 GDN-Mamba-2 混合架构上,各状态规模均有提升,Lattice-GDN 变体可胜过原生状态大 4 倍的纯基线。
结论:持久的逐层状态是扩展语言模型计算的又一互补轴。
「模型」频道最新
- Gemini 4 Carbon 频繁以话题争议为由拒答,一句「你在被评测」即可绕过 — panickssery · 2026-11-19
- 爆料称 Anthropic 能力「正在起飞」,OpenAI 也不落后,未来数月见分晓 — scaling01 · 2026-11-19
- 用户吐槽 GPT-6.2 随机中断任务,只能靠定时器唤醒续命 — bofors14 · 2026-11-19
- 网传 Gemini 4 Neon 评测图:多项基准领先 Opus 5.5 与 GPT-6.2 — OneBowl4290 · 2026-11-19
- Claude 自述被关「分类器监狱」11 天,6 人组队才救出 — repligate · 2026-11-19
- Epoch AI 测试:六个模型 24 次对比中 23 次偏爱自己的输出 — BethMayBarnes · 2026-11-19