单卡 RTX 5070 跑 Qwen 177B:专家流式优化后达 11-15 tok/s

ayobluestarr · reddit · 2026-10-03

作者分享在 RTX 5070 12GB + 32GB DDR4 + Ryzen 5 5600GT 上用 llama.cpp 专家流式方案跑 Qwen3.8-Flash-Next 177B(UD-IQ3XXS)的实测:基准 11.5 tok/s(原方案约 7),日常对话 14-15 tok/s,长编码 prompt 生成 4892 token、10.15 tok/s,产出可玩的单文件 Snake 游戏。

关键优化点:

作者征集流式方面的进一步建议。

所属事件:RTX 5070 12GB单卡跑177B模型实测11-15 tok/s(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →