用户反馈 Qwen3.8 长时间使用后输出乱码

trashacct383 · reddit · 2026-08-27

一位用户报告在使用 vLLM 部署 Qwen3.8-27B-FP8 几小时后,模型会开始输出乱码或垃圾内容,必须重启服务才能恢复。用户贴出了详细的配置参数(包括 FlashInfer 后端、xgrammar、MTP 推测采样等),并提到添加重复惩罚略有帮助,但 vLLM 28 版本似乎恶化了问题,询问是否有其他人遇到类似情况。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →