Buoyant 开源 Kinference:vLLM 上的 K8s 推理控制平面

vllm_project · x · 2026-11-06

vLLM 官方博客介绍了 Buoyant 开源的 Kinference 项目——一个面向 Kubernetes + vLLM 的推理控制平面。它复用 vLLM 做底层推理,在此之上提供 token 限流、租户用量与成本追踪、智能负载均衡与推理策略等平台化能力;客户端只需把请求指向其 HTTP 端点,兼容 OpenAI/Anthropic 协议。亮点是推理感知的负载均衡:结合 GPU 队列、历史性能和 KV cache 内容做路由,把请求发给对该请求工作量最小的 vLLM worker,公开基准显示相比标准 K8s 负载均衡有明显性能提升。文末附快速上手指南。