单张 RTX 3090 本地跑 Qwen 27B 大模型引发热议

Reddit 用户分享在单张 24GB RTX 3090 上用 vLLM 运行 Qwen3.8-27B INT4（AutoRound 权重）加 FP8 KV cache，实现 144K 上下文并通过 71/75 项评测。另一开发者则从 MacBook M5 Pro 48GB 换为 Linux 加 RTX 3090 自建方案，运行 Q4 量化版本，推理速度从 20 tokens/s 提升至约 100 tokens/s，显示老旗舰显卡在本地大模型推理上的性价比。

2026-09-14 ~ 2026-09-14 · 2 条相关

• RTX 3090 24G 单卡跑 Qwen3.8 27B INT4，144K 上下文 71/75 评测 — Altruistic_Heat_9531 · 2026-09-14
• 从 Mac 换 RTX 3090 本地跑 Qwen：速度从 20t/s 提到 100t/s — gutard · 2026-09-14