纯C++无Python：vllm.cpp开源推理栈进展与多硬件适配
pbaylies · x · 2026-08-13
开发者分享了 vllm.cpp 项目的最新进展。这是一个完全用 C++ 编写、无 Python 依赖的 vLLM 高性能推理服务栈。
项目上线一周内已获得超 800 次提交和 280 个 star。除了核心功能，社区贡献者已迅速为其适配了多种硬件后端，包括：
- AMD 显卡后端
- Tenstorrent 芯片
- Nvidia Jetson Thor 等边缘设备
- Mamba 内核支持
作者呼吁更多开发者参与共建，打造能在各类设备上运行的高性能推理栈。
「Infra」频道最新
- 开发者在 Colab 持续预训练 Luganda 语小模型，8 小时跑到 41% — weskambale · 2026-10-16
- 黄仁勋披露：每 GPU 年收约数千美元软件费，成 NVIDIA 重要收入线 — rohanpaul_ai · 2026-10-16
- 开发者亲测：几万块 V100 本地部署 DeepSeek，不如直接订阅 Claude — lxfater · 2026-10-16
- 公开喊话 neocloud：我愿买 3 万美元 GPU 算力，给个折扣吗 — Sauers_ · 2026-10-16
- 拿到新硬件就开跑：垃圾佬第一时间本地部署模型 — lxfater · 2026-10-16
- Together AI 提出 Score Centering:量化推理下 RL 训练不再崩 — nrehiew_ · 2026-10-16