vLLM 携手 Megatron 支持 Kimi K3.1:Day-0 RL 与长程 Agent 服务
vllm_project · x · 2026-11-05
vLLM 官方介绍与 inferact 合作的 vLLM + Megatron 组合,为 Kimi K3.1 提供 Day-0 强化学习支持。工作覆盖 Kimi Delta Attention 的训练-推理一致性,以及服务长程 Agent 所需的 cache 与状态管理——从推理服务到继续训练,开源栈已就绪。
相关帖还披露 K3.1 Pro 在内部 Kimi Code Bench 3.0 Long-horizon 上得分 61.2%(K3 为 55.95%),该基准考察多步执行、工具使用与端到端工程,均使用 Claude Code harness 并开最大推理强度。
所属事件:vLLM 首日支持 Kimi K3.1,训练推理全链路打通(5 条相关)→
「Infra」频道最新
- Mistral Large 4 1T 上架 HF 推理端点,4×A100 每小时仅 $10 — ngxson · 2026-11-05
- vLLM 首日支持 Kimi K3.1:长程编码跑分 61.2%,训练推理栈打通 — vllm_project · 2026-11-05
- NVIDIA 发布 CUDA-X 加速 Abaqus 结构仿真 — NVIDIAAI · 2026-11-05
- SpecAgent:Claude Code 多会话流水线,上下文成本实测 3 倍差 — AdOtherwise9458 · 2026-11-05
- 软银云子公司遭勒索软件攻击:7 分钟沦陷,近 500 家机构受影响 — ChuckDBrooks · 2026-11-05
- 2500 美元本地装机实测:27B 模型跑出 150 tokens/s — casper_hansen_ · 2026-11-05