5090 本地测试：80k 上下文下 Qwen Q6 速度掉到 15 tok/s
LFAdvice7984 · reddit · 2026-07-27
5090 本地跑 Qwen 量化与超长上下文，Q5/Q6 速度差异很大。
- 作者在测试一个需要读取并总结超长文档的场景，目标上下文大约是 80,000。
- 他的结果显示：Qwen3.6 27B 的 Q6 量化即使把 KV cache 量化到 q4、并发预测设为 1，仍会遇到显存压力，速度只有大约 15 tok/s。
- 换成 Q5 后就能顺利放进显存，速度提升到 60–70 tok/s。
- Qwen35 A3B 甚至能到 90–100 tok/s。
- 作者也怀疑自己的参数或 Windows / LM Studio 环境可能有问题，因为另一个人声称 Q6 能在 130k context 下跑到 130 tok/s。
- 硬件环境是 64GB 内存 + Ryzen 7950X + RTX 5090。
「Infra」频道最新
- 8 美元 ESP32-S3 竟能离线跑 2890 万参数模型 — yangyi · 2026-07-27
- YC 演讲谈 BCI × AI：真正决定速度的是基础设施 — garrytan · 2026-07-27
- 13B 模型靠 SSD 分页在无独显电脑上离线跑通 — ID_R_McGregor · 2026-07-27
- llama.cpp 提醒：旧版 GGUF 在新改动后必须重生成 — EconomySerious · 2026-07-27
- Ubuntu 部署惊艳实测：5090 显卡成最易配置的 AI 设备 — _xjdr · 2026-07-27
- 台积电传 2027 年拟提价 5%–10% 应对成本上升 — Beth_Kindig · 2026-07-27