RTX 3060+2060 跑 Qwen 27B：仅 5-6 TPS 勉强可玩
sheriffoftiltover · reddit · 2026-08-26
作者在 RTX 3060 + RTX 2060 双卡加 52GB DDR4 内存的配置上运行 Qwen3.8-27B（Q4KL 量化），实测只有约 5-6 token/s，且内存余量不足以支撑较长上下文。作者认为该速度只适合实验、实际可用性差，并请教是否有针对老显卡/低显存的专用推理引擎或优化方案（例如看到过 RTX 5090 上的 ninfer 相关讨论）。
「Infra」频道最新
- 谷歌亚马逊自研芯片，英伟达面临生态挤压 — bindureddy · 2026-08-26
- AI 网关架构解析：如何通过分层管理实现灵活路由 — philipkiely · 2026-08-26
- Jim Cramer：每年都说有芯片超越英伟达 — AccBalanced · 2026-08-26
- Meta 推出芯片let设计，优化推荐系统稀疏嵌入 — beffjezos · 2026-08-26
- 数据中心与居民争水：算力扩张的现实 — CtrlAltDwayne · 2026-08-26
- Mixedbread 谈检索缩放定律：多向量需模型与库协同设计 — lateinteraction · 2026-08-26