vLLM 热度不减:94,235 星的 LLM 高吞吐推理引擎再增 98 星
vllm-project · github · 2026-10-20
vLLM 项目登上 GitHub 热门,累计 94,235 星(当日 +98)。它是 Python 编写的高吞吐、省内存的 LLM 推理与服务引擎,支持 CUDA、AMD、Blackwell、TPU 等多种硬件,覆盖 DeepSeek-V3、Qwen3、Kimi、GPT-OSS、Llama 等主流模型,支持 MoE 架构。
「Infra」频道最新
- Chrome 155 正式支持 JPEG XL:比 JPEG 小 30-50%,可无损还原原文件 — banteg · 2026-10-20
- Polymarket 证实 DeepSeek 开源推理降本工具,大幅削减 AI 运行算力成本 — Polymarket · 2026-10-20
- 推理、沙箱、RL训练:Together等四家算力云殊途同归 — NielsRogge · 2026-10-20
- 英伟达 GTC 柏林站开幕,黄仁勋主题演讲明日举行 — NVIDIAAI · 2026-10-20
- Hyperdrives CEO 访谈:靠解决电机散热造更小更便宜的高功率电机 — MarvinTBaumann · 2026-10-20
- 单卡 RTX 3060 12GB 跑通 MiniMax H3 视频生成,928p 仅 23 分钟 — Ok-Inevitable8391 · 2026-10-20