Transformers 可直接跑进 vLLM
huggingface · x · 2026-07-14
Hugging Face 转发称，**Transformers 模型现在可以在 vLLM 中以原生速度运行**，很多情况下吞吐量接近甚至超过手写实现。 核心变化是：以前一种新架构往往要维护两份实现——一份在 Transformers 里用于训练/研究，另一份在 vLLM 里用于高性能推理。现在模型作者只要在 Transformers 中实现一次，就能直接吃到 vLLM 的优化推理栈。 他们的基准显示，这个后端在 **4B 到 235B** 参数规模的模型上都能保持与原生 vLLM 相当或更高的吞吐，覆盖了张量并行和 MoE 场景。作者强调，这意味着一份可读的模型实现可以同时服务训练、微调、评估、RL rollout 和生产推理。