4 卡 Intel B65 调参实录:vLLM chunk 提到 8192,prefill 提速约 30%

SamSausages · reddit · 2026-10-23

Reddit 用户继续公开其 4x Intel B65 本地推理构建的调优结果(无赞助,全程数据记录在其个人站点):

核心发现:vLLM 默认 chunk size(--max-num-batched-tokens)为 1024,在 CUDA 惯例下通常要调大 4-8 倍。实测 chunk 8192 相比默认带来约 30% 的 prefill 与 TTFT 提升;261K 长 prompt 的首 token 时间从 190.2s 降到更低(chunk 16384 最优)。
代价:大 chunk 会在多会话并发时造成停顿(8192 时最长停顿 2.89s,1024 为 0.61s),且减少可同时运行的会话数;但实测在聊天和后台 agent 场景中停顿不明显,端到端任务反而更快完成。作者决定保持 8192。
实测配置:Qwen3.8-Flash-Next W4A16 量化,BF16 n-gram 嵌入表固定在 host RAM,vLLM 0.30.0 + XPU graphs,4 卡张量并行 + 专家并行,MTP-3 推测解码,262K 窗口,最多 16 并发请求。
最佳成绩:单用户 decode 84.5 tok/s;4 用户聚合 243.2 tok/s;8 用户+agent 并发 169.1 tok/s;32K prompt prefill 5,142 tok/s;YaRN ×4 下最长 prompt 达 1,039,940 token。

「Infra」频道最新