3张2080Ti跑Qwen 27B达55tps，最佳配置分享
AccountGotLocked69 · reddit · 2026-08-01
一位开发者在 3x RTX 2080 Ti (11GB) 和 Threadripper 3970X 的硬件配置下，使用 llama.cpp 跑 Qwen 27B Q5 模型，实现了 55 tokens/s 的生成速度。
他分享了当前调优出的最佳启动参数，核心优化点包括：
- 开启 flash-attn 注意力机制
- 将 KV cache 压缩为 q80 精度
- 使用 tensor 分割模式并关闭 mmap
- 启用 draft-mtp 进行推测性解码（最大 draft 数为 3）
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16