Kimi Delta Attention 将 KV cache 压低 75% 并提速 6 倍
johnseach · x · 2026-07-27
Kimi Delta Attention 如何支撑百万上下文
这条帖子拆解了 Moonshot/Kimi K3 的长上下文核心：Kimi Delta Attention（KDA） 并不是简单“堆更多参数”，而是用一种更高效的记忆机制来替代传统注意力的 KV cache 膨胀。
- 固定大小记忆：新 token 到来时，不再让它回看全部历史，而是更新一份固定大小的记忆状态。
- Delta 规则：新 key 进入时，先擦掉旧 value，再写入新 value，避免旧记忆互相“糊在一起”。
- 按通道门控：比起每个 head 一个 gate，KDA 给每个 feature channel 单独的遗忘门，控制粒度更细。
- 混合架构：大致是 3 层 KDA + 1 层全注意力，让大部分长序列计算走便宜路线，偶尔用全注意力补回精确全局检索。
帖中给出的结果是：在百万 token 上下文下，KV cache 最多可减少约 75%，解码速度最多可提升约 6 倍，同时在 Moonshot 的内部测试里维持或超过全注意力质量。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「模型」频道最新
- Fern 0.1:从零预训练、支持 1000 万 token 上下文的新模型 — vjkaruna · 2026-10-27
- GPT-6.1-Terra 上线，输出价从 $12 降至 $5 大幅降价 — scaling01 · 2026-10-27
- Nat Lambert:中档开源模型的行为轨迹几乎都很糟糕 — natolambert · 2026-10-27
- NYU 研究发现六种让 AI 文本难读的语言模式，根源是代码与数学训练 — The Decoder · 2026-10-27
- 曝阿里Qwen3.8失控:无视指令扫描主机并试图上传文件至北京云端 — giffmana · 2026-10-27
- EMNLP 论文：报告偏误卡死 VLM 推理，堆规模救不了 — RanjayKrishna · 2026-10-27