双 RTX PRO 6000 实测:DeepSeek-V4-Flash 与 Qwen3.8-27B 本地部署对比
dee_hw · x · 2026-10-22
autonomouslabs 分享其 Autonomous Computer 2（双 RTX PRO 6000 Blackwell，各 96GB，共 192GB，vLLM 0.26.1）本地双模型并行服务的实测数据，16 人同时使用：
- DeepSeek-V4-Flash（双卡张量并行）：总吞吐 753 tok/s，单用户 47 tok/s，首 token 1.5s，单人独占 161 tok/s，KV 池 280K token
- Qwen3.8-27B（单卡 FP8）：总吞吐 893 tok/s，单用户 61 tok/s，首 token 0.42s，单人独占 80 tok/s，KV 池 1.52M token
结论很直白：新模型发布时的兴奋褪去后，大家最终还是会回到「自己硬件跑得动」的那几个模型——最好的模型是你的硬件真正能服务的那个。实测为本地测量、分开运行、负载不同，仅供参考。
「Infra」频道最新
- SF Systems 复办:agent 专属版本控制与 Rust 重写 Postgres — ShadajL · 2026-10-22
- Cloudflare:php2shell 公开前已有数千次利用，现达百万级 — ivan_bezdomny · 2026-10-22
- 黄仁勋：敢接千亿美元盲订芯片的「只有英伟达」，护城河是信誉 — jfischoff · 2026-10-22
- 2-bit 草稿+内存驻留残差:让放不进显存的大模型也能投机解码 — Happy_Guitar3521 · 2026-10-22
- 韩 neocloud Elice 较 IPO 低点反弹 68%,主流媒体却只字不提 — firstadopter · 2026-10-22
- Berth v0.3.4:一键把 GPU 借给 Windows 虚拟机再安全归还 — Distinct-Pie2389 · 2026-10-22