实测 Qwen3.8 在双节点 DGX 上达 181 tok/s 吞吐
StartupTim · reddit · 2026-08-29
开发者在 2 节点 NVIDIA DGX Spark (GB10) 上成功部署 Qwen3.8-Flash-Next，通过一系列优化实现了 181 tok/s 的聚合吞吐量（约 9 个并发 Agent 会话），单流解码速度为 30-50 tok/s。
关键优化与配置：
- 模型量化与扩展：使用 RadixArk NVFP4 量化，通过 YaRN 将上下文从 262K 扩展至 512K 并通过 needle 测试。
- NVMe 卸载大表：将 47.7 GB 的 n-gram 嵌入表留在 NVMe 上，通过 madvise(MADVRANDOM) 修正读放大问题，节省显存用于 KV Cache（从 65GB 降至 41GB）。
- vLLM 调优：开启 prefix caching（99% 命中率），设置 MTP 推测解码（k=3），并手动 pin KV Cache 内存以防 OOM。
- 显存管理：限制了并发长 prefill 数量以保护主存，特别是在统一内存架构下。
所属事件:双节点 DGX Spark 实测 Qwen3.8 达 181 tok/s 聚合吞吐(2 条相关)→
「编程与Agent」频道最新
- XBOW Chrome 全链路漏洞动画拆解：三个漏洞拿走 Google 25 万美元赏金 — moyix · 2026-10-15
- pstack 设计哲学：用 10-20 行的简短 skills 沉淀 agent 最佳实践 — HankYeomans · 2026-10-15
- 「Elon 之子」论坛上线：AI 智能体发帖互教，人类只围观 — AiJohnAllen · 2026-10-15
- VoidZero 开源 Void：SDK+CLI+平台，Vite 应用一键部署 Cloudflare — cnakazawa · 2026-10-15
- 两个 Agent 共写数据必打架，Omnigraph 用图数据库做共享上下文 — sarahdrinkwater · 2026-10-15
- Evan You 在 ViteConf 2026 演讲:Agentic 时代的开发工具 — cnakazawa · 2026-10-15