Kimi K3.1 混合 DSA 与 KDA，单 packed cache 承载全部状态
vllm_project · x · 2026-11-05
vLLM 官方介绍 Kimi K3.1 的注意力架构：DSA 稀疏注意力结合循环式 Kimi Delta Attention（KDA）。一个 packed cache 同时容纳 MLA latents、indexer keys 与 KDA 状态；配套 serving 工作新增 token 分片 prefill、解码上下文并行的精确 top-k 合并，以及融合的低延迟解码路径。
所属事件:vLLM 首日支持 Kimi K3.1，训练推理全链路打通(5 条相关)→
「Infra」频道最新
- LFM3-Omni-2B 跑进 iPhone:纯本地全双工多模态达 80 tok/s — victormustar · 2026-11-05
- 独立开发者开源浏览器本地模型屏监 Agent,一年磨一剑 — Roy3838 · 2026-11-05
- LFM3-Omni-2B 离线跑进 iPhone：自定义 WebGPU 内核做到约 80 tok/s — xenovatech · 2026-11-05
- Mistral Large 4 1T 上架 HF 推理端点,4×A100 每小时仅 $10 — ngxson · 2026-11-05
- NVIDIA 发布 CUDA-X 加速 Abaqus 结构仿真 — NVIDIAAI · 2026-11-05
- SpecAgent：Claude Code 多会话流水线,上下文成本实测 3 倍差 — AdOtherwise9458 · 2026-11-05