4 块 RTX PRO 6000 跑 DeepSeek：16 并发解码 2120 tok/s
victormustar · x · 2026-10-28
用户 0xSero 实测在约 7.5 万美元的本地硬件上运行 DeepSeek 模型：16 路并发会话下总解码速度达 2120 tok/s，即使跑多个带子智能体的会话，每路仍能拿到 120+ tok/s。配图数据显示：4×RTX PRO 6000、512K 上下文、TP4 over PCIe P2P，C4 prefill 15202 tok/s、首 token 146ms、KV 可容纳 17.06 个 512K 上下文，每卡 300W。
作者的结论是：一家企业花 7.5 万美元就能让整个办公室用上私密的前沿水平模型性能，无需依赖云端 API。
「Infra」频道最新
- Palmer Luckey 发布 BlueChip：号称数十年来首台美国制造计算机 — whurley · 2026-10-28
- 算账：OpenRouter 全部 DeepSeek 流量一台 GB300 机架就能扛住 — teortaxesTex · 2026-10-28
- 全本地 AI 电话助手开源:Mac 接真实号码,通话数据不出机器 — Agent007_MI9 · 2026-10-28
- Agent 自建推理引擎:AMD MI350X 跑 GLM 5.3 比 B200 快 37% — yisongyue · 2026-10-28
- RTX 5090 被炒到 1 万美元内幕:改装工厂拆卡换涡轮散热变身 AI 算力卡 — Different_Fix_2217 · 2026-10-28
- Anthropic S-1 文件承认数据中心依赖天然气，成本与气候风险双双上升 — TobyWalsh · 2026-10-28