玩家自建 8×3090 本地推理集群:10 个 Agent 并行跑到 370 tok/s
dazzou5ouh · reddit · 2026-11-15
Reddit 用户晒出刚调稳定的 8 张 RTX 3090 本地 AI 工作站(购于涨价前,单卡约 600-700 英镑),戏称是「完美冬季取暖器」。
关键配置与实测:
- Romed8-2T 主板,除两张卡共享 PCIe 槽跑 x8 外全部满速 PCIe 4.0 x16;AliExpress 廉价延长线,最长 60cm
- 双电源 Ax1600i + Hx1500i 分担供电,CPU 用水冷解决空间问题,GPU 功耗墙设 270W
- 改版 NVIDIA 驱动开启 P2P,实测 22GB/s 互联带宽
- 在 vLLM + opencode 上跑 Qwen 量化版:单 Agent 约 60 tok/s,10 个 Agent 并行聚合峰值 370 tok/s
作者对比市面新品(如 192GB 显存的 Gorgon Halo)认为自家机器在显存带宽上仍是怪兽,缺点是待机 300W 的功耗;适合本地微调小模型。
「Infra」频道最新
- 摩根大通预测:AI 加速器出货今年 1590 万颗,2028 年翻倍至 3120 万 — Beth_Kindig · 2026-11-15
- Alchemy 新版支持 Rivet 与 Effect Cluster,可部署到任意云并跨平台换沙箱 — samgoodwin89 · 2026-11-15
- Gemini 4 全程用自研 TPU 训练,Google 成唯一摆脱英伟达的巨头 — gaganghotra_ · 2026-11-15
- Chamath 解析 CoreWeave 信贷违约掉期利差跳升:高杠杆+固定价卖算力 — rohanpaul_ai · 2026-11-15
- 断网也能跑 AI:网友用旧 MacBook 搭太阳能本地推理+Meshtastic 网络 — natesiggard · 2026-11-15
- 开发者追问:AWS AgentCore 与 Cloudflare Agents 之外有没有更简单的选择 — line9779 · 2026-11-15