Kimi K3.1 Pro 上线 TPU:2.8 万亿参数 MoE 获得 Day-0 推理支持

vllm_project · x · 2026-11-06

Google 与 Inferact(vLLM)、RadixArk(SGLang)合作,为月之暗面 Kimi K3.1 Pro 提供 TPU v7x 上的 Day-0 分布式推理支持,vLLM 团队宣布 llm-d 方案已可用。
模型约 2.8 万亿参数(每 token 激活约 1040 亿,896 个路由专家),1M token 上下文,93 层混合注意力(69 层 Kimi Delta Attention + 24 层 Gated MLA),权重超过单机 HBM,需多节点张量与专家并行。
llm-d 针对长程 agent 会话的痛点给出方案:1M KV cache 榨干 HBM、无状态负载均衡导致重复前缀重算、prefill 突发阻塞解码等瓶颈,在生产级推理栈上提供多租户 QoS 与零停机升级。

「Infra」频道最新