Transformers 可直接跑进 vLLM
huggingface · x · 2026-07-14
Hugging Face 转发称，Transformers 模型现在可以在 vLLM 中以原生速度运行，很多情况下吞吐量接近甚至超过手写实现。
核心变化是：以前一种新架构往往要维护两份实现——一份在 Transformers 里用于训练/研究，另一份在 vLLM 里用于高性能推理。现在模型作者只要在 Transformers 中实现一次，就能直接吃到 vLLM 的优化推理栈。
他们的基准显示，这个后端在 4B 到 235B 参数规模的模型上都能保持与原生 vLLM 相当或更高的吞吐，覆盖了张量并行和 MoE 场景。作者强调，这意味着一份可读的模型实现可以同时服务训练、微调、评估、RL rollout 和生产推理。
「Infra」频道最新
- 3 张二手 V100 跑 Qwen 近 400 tokens/秒 — jfinkpottery · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 开发者抱怨 npm 新包上线要等 20 分钟，疑为防 AI 攻击限流 — cocktailpeanut · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27
- 分析师实测 RTX Spark 笔记本：满载跑 30B 模型风扇不吵、续航出色 — Scobleizer · 2026-10-27
- Reflection AI的Beam-1.0登顶美国开源权重模型：23B激活参数逼近Qwen3.8 — ryanshrout · 2026-10-27