GLM 5.2 的 KV 缓存共享模式有何巧思
stochasticchasm · x · 2026-09-11
开发者在解读 GLM 5.2 时讨论了其 KV 缓存的共享模式：在保持灵活性的同时获得性能收益，本质上是把「按块打分」变为「按 token 打分」，块内共享 block indices 而不共享 token indices。作者猜测这种设计被引入到后训练阶段，可能与更长的序列有关，但认为 64k 在预训练阶段已经算比较长了。他还提到这种模式命名方式便于讨论，但希望自己起更直观的名字。
所属事件:DeepSeek CED 与 GLM 的 KV 缓存复用机制解析(4 条相关)→
「模型」频道最新
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级：单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26
- 当 AI 遇上存在主义危机：模型自己也「迷茫」了 — Ok-Delivery-7437 · 2026-10-26
- Kimi K3.1 Pro 登顶 MathArena 开源模型，整体逼近 GPT-5.5 — teortaxesTex · 2026-10-26