8 张 P100 跑 Qwen3.8 Flash Q4：并发槽位数不同，吞吐量剧烈波动
ILoveDangerousStuff2 · reddit · 2026-10-28
作者在 G292-Z20 服务器（8 张 P100 PCIe、Manjaro 裸机、自编译 llama.cpp）上跑 Unsloth 版 Qwen 3.8 Flash Next Q4，想用于 agent 场景，因此追求高并发。
- 单并发生成约 20–24 tps，prefill 约 400–500 tps；开 MTP 后单并发可达 33 tps。
- 16 槽位时总吞吐在 11 并发处达到约 80 tps 峰值，随后急剧下滑。
- 改变槽位数后，总会出现某个并发数处吞吐骤降，之后又回升再降。
- 最佳结果是 20 槽位、13 并发时约 91 tps，但前后并发区间只有约 30 tps。
- 该现象随槽位数固定而稳定复现，但不同槽位数之间变化毫无规律。
作者认为在这套老硬件上已算不错，但怀疑仍有优化空间，向社区求助原因。
「Infra」频道最新
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28
- 实测 11 种视频超分方案：本地免费、Topaz 与云端全横评 — lopas99 · 2026-10-28
- 不稳定测算CEO站台解耦算力:要让AI迎来「宽带时刻」 — beffjezos · 2026-10-28
- 单卡 3090 跑 DeepSeek-V4.1-Flash 量化版，41 tok/s 且 90% 对齐官方 API — musicurgy · 2026-10-28
- USearch v3 发布候选版亮相，作者晒出开源库被55万星项目依赖的成绩单 — viglovikov · 2026-10-28
- SK 海力士:到 2030 年存储需求都将超过供给,内存涨价难缓解 — Chemical_Hawk_6307 · 2026-10-28