vLLM 热度不减:94,235 星的 LLM 高吞吐推理引擎再增 98 星

vllm-project · github · 2026-10-20

vLLM 项目登上 GitHub 热门,累计 94,235 星(当日 +98)。它是 Python 编写的高吞吐、省内存的 LLM 推理与服务引擎,支持 CUDA、AMD、Blackwell、TPU 等多种硬件,覆盖 DeepSeek-V3、Qwen3、Kimi、GPT-OSS、Llama 等主流模型,支持 MoE 架构。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →