Yandex 研究:不改权重,靠重组 KV cache 让 LLM 实时交互
arpit_bhayani · x · 2026-09-07
Yandex Research 发表研究,把 KV cache 从单纯的推理加速手段变成模型的「主动记忆运行时」,在不改动模型权重的前提下让 LLM 具备交互能力。
核心机制
- KV cache 通常只被视为速度优化,但它实际决定了模型能看到什么、以什么顺序看到。
- 做法是让一块共享记忆被多个「读者」以不同顺序读取:同一份存储不复制、不重写,只改变各读者看到的页序。
由此实现的能力
- 多个模型实例共享同一记忆,彼此实时看到对方的进展,无需等完整回答。
- 一个模型可同时扮演两个角色:一部分持续思考,另一部分边说边用已就绪的内容,二者互相感知并随时调整。
Demo:Yandex 展示了一个玩《Doom》的 agent——模型在推理和选动作的同时持续接收游戏画面流,全部跑在同一套共享内存机制上。该模型从未在 Doom 上训练过,仅靠重新组织其记忆的暴露方式就实现了实时行动。
作者总结:交互性未必来自重训练,改变模型记忆的组织与共享方式是一个远比想象便宜的杠杆。
所属事件:Yandex 研究：KV cache 可作 agent 实时运行时(3 条相关)→
「Infra」频道最新
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- Anthropic S-1 披露：CSP 渠道收入占比三年从 11% 涨至 48% — AccBalanced · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- profiling 实测：Alchemy Cloudflare 绑定 CPU 时间最多降 166 倍 — samgoodwin89 · 2026-10-27