二手双 3090 本地跑 LLM:装好了却没快多少,瓶颈在哪?
jonejy · reddit · 2026-10-14
一位开发者用二手件攒了台本地 LLM 机器:2×RTX 3090 24GB、Ryzen 9 5950X、B550 主板、128GB DDR4、1200W 电源,跑 Ubuntu + llama.cpp。第二块卡经 PCIe 3.0 x4 延长线连接,第一块跑 PCIe 4.0 x16。
测试 Qwen 35B A3B 不同 GGUF 量化与上下文长度后发现:
- 当模型单卡就装得下时,加第二张卡收益不如预期;
- 长上下文让 prefill 时间明显变长;
- 尚未区分 KV cache、内存带宽与 GPU 间通信各自的影响。
帖子在征集双 3090 用户的 tokens/s 数据、layer split 设置与系统化定位瓶颈的基准方法,也提到日常仍用托管服务,思考哪些负载真正值得搬到本地。
「Infra」频道最新
- llama.cpp 被内置进 Google Android AICore,Gemini Nano 底层曝光 — ggerganov · 2026-10-14
- UC Berkeley 团队开源 FLAT，线性注意力 TPU 训练内核提速最高 3 倍 — SonglinYang4 · 2026-10-14
- 用Minimax H3生成300段视频打造沉浸式展览，附各GPU实测耗时 — komarco · 2026-10-14
- Nvidia 据称本周将宣布 280 亿美元欧洲 AI 投资，网友税后只剩 130 亿 — rchardkovacs · 2026-10-14
- 约 2000 美元 token 费用跑通 RISC-V 加密 SoC 完整后端流程 — IgorCarron · 2026-10-14
- SK 海力士 HBM4 后段工艺卡壳超一年,传三星明年将夺回份额 — zephyr_z9 · 2026-10-14