从一张 3090 到 20 台 DGX Spark:家庭本地推理集群的完整进化史
ciprianveg · reddit · 2026-10-04
一位 Reddit 用户详细记录了自己从单卡 3090 跑 LLaMA 33B,一路升级到与兄弟合建 16 台 NVIDIA DGX Spark 集群跑 Kimi K3(2.8T)的全过程,全程只用本地模型、从未付费订阅商用 API:
- 起步:3090 ×2 跑 LLaMA 65B 与小型编码任务;DeepSeek 671B 出现后升级 Threadripper + 512GB DDR4,以专家卸载到内存的方式跑到 8 t/s,并用 Qwen 235B 在工作中真实写码。
- 16×3090 阶段:100Gbit 网络上搭 P620 节点跑 MiniMax M2、Qwen 397B,用它完成了一个付费项目;但家用电路成为瓶颈——机柜和电烤箱同时开就跳闸,功耗 6kW。
- 转向 DGX Spark:4 台 GB10 串联后 Qwen 397B 以 400W 跑出 30 t/s(对比 6kW 下的 50-60 t/s),稳定近无声;自己摸索出 8 节点集群方案并首发于 NVIDIA 论坛,让 397B 升到 FP8 且快 20%。
- 兄弟合体:说服哥哥也买了 8 台,两家相距步行 5 分钟;Kimi K3(2.8T)发布后合并两个集群,迭代 vLLM/SGLang 配置,把它从 100k 上下文 7 t/s 调到 300k 上下文 20 t/s 的可用水平。
- 下一步:再加 4 台 Spark,常驻小模型 GLM 5.3 Flash 全天候运行,大集群按需跑 GLM 5.3 + MiMo 2.6 Pro 双 8 节点、16 节点 Kimi K3 或 Qwen 3.8 2.4T;还打算给弟弟也配 4 台。
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20