vLLM 首日支持 Kimi K3.1:长程编码跑分 61.2%,训练推理栈打通
vllm_project · x · 2026-11-05
vLLM 项目官方宣布对月之暗面新模型 Kimi K3.1 提供 Day-0 支持，覆盖推理服务与 RL 训练全链路。
关键信息
- 架构：K3.1 将 DSA 稀疏注意力(每 query 最多选 2048 个 key 位置)与循环式 Kimi Delta Attention(KDA)结合，单个 packed cache 同时容纳 MLA latents、indexer keys 与 KDA 状态。
- 服务优化：token 分片 prefill、decode 上下文并行的精确 top-k 合并、融合低延迟 decode 路径；prefill/decode worker 间的状态交接需同时保持两种状态形式。
- 长程任务成绩：K3.1 Pro 在内部 Kimi Code Bench 3.0 Long-horizon 上得 61.2%(K3 为 55.95%,提升 5.25 个百分点)，该基准覆盖多步执行、工具调用与端到端工程，两者均用 Claude Code harness 最高推理档跑出。
- 训练侧：@inferact 的工作解决了 KDA 的训练–推理一致性，以及服务长时运行 agent 所需的 cache 与状态管理；vLLM + Megatron 组合使同一开源栈既能 serve 模型也能继续训练。
所属事件:vLLM 首日支持 Kimi K3.1，训练推理全链路打通(5 条相关)→
「Infra」频道最新
- Qwen3.6/3.8 投机解码实测提速，最新 draft 模型再快约 10% — teortaxesTex · 2026-11-05
- webAI 开源 8.8B 模型 TwIL-8B：编程达前沿 93%，本地硬件可跑 — dr_cintas · 2026-11-05
- Together 推出 Compiler:新开源模型数小时内完成生产级推理优化 — togethercompute · 2026-11-05
- Debian 紧急修复 apt 漏洞:中间人可在校验后替换软件包获取 root — jedisct1 · 2026-11-05
- 两张 X79 矿架拼成一台推理机:GLM-5.3-Flash 跨机分层跑出 42 tok/s — alexlucaci · 2026-11-05
- $/min 限流挡不住循环 agent?开发者给出滑动窗口+熔断四步解法 — MaverikSh · 2026-11-05