前 DeepMind 研究员离职首作：共享核心 KV cache 的绑定 Transformer
BlackHC · x · 2026-10-06
前 Google DeepMind 研究员 BlackHC 发布离开后的第一个小型研究项目：一种 LSTM 风格、绑定权重（tied）并共享单一核心 KV cache 的 Transformer 架构。
核心问题是如何针对模型在推理时递归产生的 cache 历史进行训练。工作建立在 LCKV（末层 cache + KV 匹配）、CLA（跨层复用）和 Huginn（循环深度）之上，但重点测试了绑定核心中的 cache-history mismatch 与修复机制。作者目前受算力限制，公开征集合作者。
所属事件:BlackHC 离职首作：共享 KV cache 的绑定 Transformer(8 条相关)→
「Infra」频道最新
- 电力缺口成数据中心扩张瓶颈：2030 年需求激增、基建跟不上 — DavidLinthicum · 2026-10-06
- Beam 首个模型开源：501B-A23B 文本 MoE，Apache 2.0 全栈放发 — brandondamos · 2026-10-06
- Vultr 斥资 12 亿美元订购 AMD Helios AI 机架,客户提前数年锁算力 — shashib · 2026-10-06
- NanoGPT speedrun 刷新纪录：速度提升 11.3%，论文即将发布 — yoavartzi · 2026-10-06
- NVIDIA CANTO:直接从 CAD 参数化曲面预测气动场 — JeanKossaifi · 2026-10-06
- Epoch 估算：2027 年底算力可支撑数亿乃至数十亿 AI 智能体 — Jsevillamol · 2026-10-06