llama.cpp 运行 Qwen 27B 遭遇无限循环报错

Fieser_Fettsack · reddit · 2026-08-29

用户在 llama.cpp 服务器上运行 Qwen3.8 27B 模型时，频繁遇到输出无限斜杠（//）循环导致会话崩溃的问题，尤其在执行 /compact 操作后。环境包括主服务器（3060 12GB）和 RPC 工作节点（3080 10GB），启用了 MTP 和 KV Cache。用户尝试了多种参数调整（如量化等级、Batch Size、Cache Type 等）及配置修改，但问题依旧。帖子附带了详细的 docker-compose 配置、Dockerfile 和 models.ini 设置，寻求社区帮助排查原因。