手里 A30/A40 加新购 48GB Pro5000,这堆 GPU 怎么用好?
OvertaxedOne · reddit · 2026-09-16
作者即将获批购买一张 48GB 的 Pro5000,现有的 A30(跑 9B 模型)和 A40(跑 27B)无法处置(公司不愿走卖卡流程),想知道这些卡怎么组合利用。
- 现有方案:A30 跑 9B,A40 跑 27B,主用途是 Hermes + OpenWebUI 企业聊天助手,并发基本不超过 2
- 对 3.8 27B 8bit 量化版本的质量满意,若 Next 提升明显希望跑得更快
- 候选思路:1) A40 继续跑 27B 作 failover;2) A40+Pro5000 同板凑 96GB;3) 三卡同板(需换主板,且可能跑不满速)
征求社区对异构多卡组合的用法建议。
「Infra」频道最新
- Earendil 推出 Radius 推理服务，为 Pi 提供模型路由与扩展 — HankYeomans · 2026-09-16
- 传苹果拟借 M 系芯片加 NVLink Fusion 重返服务器市场 — inductionheads · 2026-09-16
- Hugging Face 上跑大规模 Agent RL 训练：14 小时开 9523 个沙箱 — vanstriendaniel · 2026-09-16
- 曝苹果拟用 M8 芯片造 AI 服务器，或借英伟达 NVLink 重返服务器市场 — gappyvalley · 2026-09-16
- uv 0.12.9 改 ZIP 解包策略,冷缓存 Python 安装显著提速 — KhuyenTran16 · 2026-09-16
- 曝苹果自研芯片打造企业级 AI 服务器,最早 2026 年落地 — Polymarket · 2026-09-16