从 Mac 换 RTX 3090 本地跑 Qwen：速度从 20t/s 提到 100t/s
gutard · reddit · 2026-09-14
一位软件开发者把 MacBook M5 Pro 48GB 换成自建 Linux + RTX 3090，用 vLLM 跑 Qwen 3.8 27B（Q4 量化）达到平均 100 tokens/s，而 Mac 上 llama.cpp 只有约 20t/s（Q4/Q6 提速不明显）。
- 通过 OpenAI 兼容端点供自建桌面应用调用，认为足以替代 Claude 订阅
- 工具调用失败率更高，但 Qwen 3.8 能自我纠错
- 配置已开源在 GitHub（syv-ai/qwen38-27b-rtx3090）
所属事件:单张 RTX 3090 本地跑 Qwen 27B 大模型引发热议(2 条相关)→
「Infra」频道最新
- Google 太空数据中心首次跑通:轨道 TPU 完成 Gemma 推理并回传 — ns123abc · 2026-10-31
- Google Cloud 花费上限正式上线：新增 API、实时成本报告与每月自动重置 — rseroter · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- ClickHouse 曝未认证远程代码执行漏洞 CVE-2026-116366 — Hacubu · 2026-10-31
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31
- 低成本双卡 3060 12GB 本地推理方案:显存性价比压过贵一倍的 5060 — Frizzy-MacDrizzle · 2026-10-31