RTX 3060+2060 跑 Qwen 27B：仅 5-6 TPS 勉强可玩
sheriffoftiltover · reddit · 2026-08-26
作者在 RTX 3060 + RTX 2060 双卡加 52GB DDR4 内存的配置上运行 Qwen3.8-27B（Q4KL 量化），实测只有约 5-6 token/s，且内存余量不足以支撑较长上下文。作者认为该速度只适合实验、实际可用性差，并请教是否有针对老显卡/低显存的专用推理引擎或优化方案（例如看到过 RTX 5090 上的 ninfer 相关讨论）。
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15