vLLM transformers 后端已达原生速度,接入即免移植
ariG23498 · x · 2026-09-28
Hugging Face 宣布 vLLM 的 transformers modeling backend 现已达到甚至超过 vLLM 手写原生实现的速度。模型作者只要把模型集成进 transformers,就可在 vLLM 中自动获得极速推理,无需任何移植。
- transformers 是 450+ 架构的参考实现库,vLLM 负责连续批处理、自定义 attention kernel 等推理优化
- 官方在三种场景下与原生实现对跑:单卡 4B 稠密模型、张量并行的 32B 稠密模型、8×H100 上 235B FP8 MoE 的数据+专家并行
- 结果:transformers 后端在多数 LLM 架构上已持平或超越原生实现
- 升级命令:uv pip install --upgrade vllm --torch-backend auto
「Infra」频道最新
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16