硬核折腾：16 张 5060Ti 运行 DeepSeek V4
Primary_Exchange21 · reddit · 2026-08-20
一位用户分享了使用 16 张 RTX 5060 Ti 16GB 显卡、通过两个 PLX88096 交换机互联的硬件配置，成功运行 DeepSeek V4 Flash-0731 模型。
- 配置细节：使用 ASRock Rack 主板、Xeon Gold 6330 CPU 和特殊定制的内核参数，成功将每张卡的 BAR1 显存调整为 16GB。
- 性能表现：
- 张量并行 8 + 流水线并行 2：支持 50 万上下文，生成速度约 140 tks。
- 张量并行 4 + 流水线并行 4：支持 100 万上下文，生成速度约 80 tks。
- 成本：整个硬件 setup 的花费仅为 0.6 倍 RTX 6000 Pro 的价格。
「Infra」频道最新
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16
- Meta 开源 816B 参数 Muse Spark Open，Groq 预览跑出 350+ tokens/秒 — GroqLLC · 2026-10-16