双 RTX 3060 跑 Qwen3.8-27B 实测数据与 $2000 扩容方案讨论
gnoremepls · reddit · 2026-09-19
Reddit 用户分享其本地 LLM 硬件配置并求升级建议:双张二手 RTX 3060(各 12GB,每张约 $300),跑 Qwen3.8:27B,Q4 量化下可支撑约 100k 上下文,输入 600 tok/s、输出 45 tok/s。另持有 128GB DDR5-5600(涨价前购入)但目前闲置。
其 $2000 预算下的候选方案:
- 再购两张 3060(约 $600-700)组建 4×3060 新机,转移 64GB 内存,但担心 PCIe 通道数成为瓶颈;
- 换 RTX 3090 或新卡,约 $2000 仅多 8GB 显存,性价比低;
- 考虑两张 24GB 的 Intel B60(新卡约 $800/张)。
帖中给出真实吞吐与显存数据,并讨论 CPU offload、显存扩展性价比等本地部署常见问题,评论区有针对性建议。
「Infra」频道最新
- SurrealDB 4 发布:多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸,CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰:预计 2027 年营收增长超 80%,数据中心占比超八成 — AccBalanced · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免:让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板:最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04