4 张 RTX 3090 组出 FrankenSTEAM 主机,实测跑 Qwen 大模型
Civil_Fee_7862 · reddit · 2026-11-04
一位 Reddit 用户在消费级主板(Asus ProArt B850)上搭建 4×RTX 3090 的本地推理平台:两张跑 Tensor Parallel 运行 Qwen3.8-27B,第三张 4x 负责图像任务,第四张刚下单 PCIe Gen4 1x 转 16x 转接卡准备接入。
- 配置:32GB DDR5 6000MHz,PCIe 通道严重受限
- 原计划用 NVLink 连接两张 Dell OEM 3090,现倾向改用 Qwen3.8 Flash Next 的 resident experts 策略,把专家权重尽量常驻显存(因显存大于内存)
- 疑问:Gen4 1x 带宽下跑 Strata(专家并行/流水线并行)速度是否够用,征求社区实测经验
「Infra」频道最新
- Anthropic 签约租约约 3210 亿美元,几乎不自持算力 — tengyanAI · 2026-11-04
- 斯坦福 ParallelKernelBench 入选 NeurIPS:LLM 零样本仅 32% 多卡 kernel 写对 — simonguozirui · 2026-11-04
- UC Berkeley 等发布 SpecPilot:自动为投机解码找最优算法 — UCBerkeley · 2026-11-04
- AMD 高管亮相 Fireworks AI Forge 活动,谈多年战略合作 — AnushElangovan · 2026-11-04
- 微软详解 Outlook 搜索改造:相关性排序扩至 7 条+弱网韧性 — benjamingauthey · 2026-11-04
- AMD 高管携 192GB 内存的 Strix Halo 工作站当面致敬 dhh — AnushElangovan · 2026-11-04