在残差流之外加横向计算轴:Latent Lattice 语言模型构想
HanGuo97 · x · 2026-11-20
研究者 Shivam Duggal 提出 Latent Lattice Language Models(LLLMs):现有语言模型让每个 token 沿单一残差流垂直计算(逐层读写记忆、施加 MLP,最后解码下一个 token),该工作尝试在此基础上增加一条水平的计算轴——Latents 的 Lattice(格点),让不同位置的 latent 之间产生流动与交互。
作者称之为「RNN 与 Transformer 的握手」,转发的 Han Guo 等人认为 latent 之间应如何流动与交互仍有很大探索空间,属于架构层面值得关注的探索方向。
所属事件:MIT 与 Adobe 提出 Latent Lattice 语言模型新架构(3 条相关)→
「研究」频道最新
- Agent 基准测试两难:要真实就得联网,要可复现就别联网 — davidmanheim · 2026-11-20
- Kundaje等发布基因调控深度学习长综述:上下文感知建模方法全景 — anshulkundaje · 2026-11-20
- 同套 harness 还能训练光学编码器,更强的智能体效果更好 — GordonWetzstein · 2026-11-20
- 智能体先用 48 次探测量出光学几何,再只调几个设备参数 — GordonWetzstein · 2026-11-20
- 光学神经网络难校准?编码智能体把分类精度从 35% 拉到 96.8% — GordonWetzstein · 2026-11-20
- 一个特征判别小说:感知动词每页超 3.4 次,90% 是虚构 — _akpiper · 2026-11-20