家庭 AI 机房实测:双 DGX GB300 跑 DeepSeek 达 5774 tok/s
julianharris · x · 2026-10-13
有人晒出全太阳能供电的家庭 AI 实验室:两台 DGX Station GB300 各配 RTX PRO 6000 sidecar、三台 DGX Spark、Threadripper 服务器、NAS 与 Mikrotik,全部本地推理,前沿任务才上云端。并开源了带完整实测数据的仓库(dgx-station-frontier):
- DeepSeek-V4.1-Flash:双 Station 64 并发 5774 tok/s,单用户约 430 tok/s,GSM8K 98-99%
- 加 6000 sidecar 后 16 并发 1856 tok/s,16-32 并发提速 2.7-3.25x
- DeepSeek-V4-Pro(1.6T)双机:单用户 83-95 tok/s,16 并发 274-313 tok/s
- MiMo-V2.6-Pro:16 并发 503 tok/s
- 仓库含 6 份部署 recipe、微基准与日志校验工具,每个数字都有日志对应
引用者调侃:这哪是 local AI,分明是个迷你数据中心。
「Infra」频道最新
- Broadcom 主张铜光混合机架：拆分 scale-up 域以降低光模块成本 — firstadopter · 2026-10-13
- 一篇博客 HTML 158KB,转 Markdown 后仅 17KB,Agent 抓取省 89% — colinmcnamara · 2026-10-13
- 扎克伯格：H100 比去年更值钱，老 GPU 并未快速贬值 — inductionheads · 2026-10-13
- Arm 列 AI 数据中心三大 CPU 角色,预测 CPU 市场五年增至 3000 亿美元 — firstadopter · 2026-10-13
- 四种 AI 算力“修复”各自制造新瓶颈:散热、激光、翘曲接踵而至 — BenBajarin · 2026-10-13
- Meta Hyperion 将成全球首个 5GW 数据中心,占地 4000 英亩 — bookwormengr · 2026-10-13