Qwen 27B 生产部署性能掉很多
Refefer · reddit · 2026-07-13
发帖者称自己花了四天尝试为 **Qwen 27B** 寻找适合生产环境的 **VLLM** 配置，但在使用 **FP8 safetensors** 时，相比 `llama.cpp` 版本出现了明显的性能下降，尤其是在高并发/高负载下。 他还提到： - 质量基准测试的绝对值下降了将近 **20%**。 - 目前怀疑问题与配置或运行方式有关，但还没找到稳定可用的方案。 - 希望有实战经验的人分享能正常工作的生产配置。 这是一个典型的生产推理部署踩坑帖，重点在服务栈与性能调优。