LSTM 式共享缓存 Transformer:递归推理下的 KV 缓存匹配实验
BlackHC · x · 2026-10-06
前 DeepMind 研究员 BlackHC 的一项小型研究项目:构建一个 LSTM 风格的绑定（tied）Transformer,全模型只共享一份核心 KV 缓存,核心问题是如何针对模型在推理时递归产生的缓存历史进行训练。工作建立在 LCKV(末层缓存+KV 匹配)、CLA(跨层复用)和 Huginn(递归深度)之上,并用 LSTM 单元测试缓存历史失配与修复。
所属事件:BlackHC 离职首作：共享 KV cache 的绑定 Transformer(8 条相关)→
「Infra」频道最新
- 电力缺口成数据中心扩张瓶颈：2030 年需求激增、基建跟不上 — DavidLinthicum · 2026-10-06
- Beam 首个模型开源：501B-A23B 文本 MoE，Apache 2.0 全栈放发 — brandondamos · 2026-10-06
- Vultr 斥资 12 亿美元订购 AMD Helios AI 机架,客户提前数年锁算力 — shashib · 2026-10-06
- NanoGPT speedrun 刷新纪录：速度提升 11.3%，论文即将发布 — yoavartzi · 2026-10-06
- NVIDIA CANTO:直接从 CAD 参数化曲面预测气动场 — JeanKossaifi · 2026-10-06
- Epoch 估算：2027 年底算力可支撑数亿乃至数十亿 AI 智能体 — Jsevillamol · 2026-10-06