DGX Spark 跑Qwen35B并发64用户
StefanoGogioso · x · 2026-07-10
在一台 **DGX Spark** 上跑 **Qwen3.6-35B**： - 支持 **64 个用户**同时使用。 - 吞吐可到 **700+ tok/s**。 - 每个用户各自拥有 prompt 和 KV cache，使用 **vLLM** 将所有活跃流按步批处理进 GPU。 - 贴文还给出了一套实现 recipe 链接，并标注整套方案功耗约 **38W**。
StefanoGogioso · x · 2026-07-10
在一台 **DGX Spark** 上跑 **Qwen3.6-35B**： - 支持 **64 个用户**同时使用。 - 吞吐可到 **700+ tok/s**。 - 每个用户各自拥有 prompt 和 KV cache，使用 **vLLM** 将所有活跃流按步批处理进 GPU。 - 贴文还给出了一套实现 recipe 链接，并标注整套方案功耗约 **38W**。