6 张 3090 跑 Qwen3.8-Flash-Next:262k 上下文带 7 用户,vLLM 补丁详解
flynth92 · reddit · 2026-10-12
Reddit 用户 flynth92 分享在消费级 PC(6×3090,无 EPYC/无 NVLink,部分卡走 Thunderbolt)上用魔改 vLLM 分支跑 Qwen3.8-Flash-Next 的完整实测与代码。
核心结果(int8 KV + GPTQ-INT4):
- prefill 6574 t/s,250k 提示首 token 仅 37.8s(llama.cpp 多卡方案约 118s)
- 单用户解码 57.6 t/s,7 用户并发合计 206 t/s,GPU 常驻 262k 上下文 7 个
- PLE n-gram 表放到 SSD,省 108GB 内存;int8 KV 比 fp8 在 Ampere 上可用
关键修复:上游 vLLM 根本无法在该机器启动该模型——拒绝 PP>1、TP 只允许 1/2/4/8、24GB 卡 TP=1 放不下。作者还修了管线并行的其他问题,PLE 上 SSD 恰好对应今天上游新 PR。
踩坑结论:NVFP4 checkpoint 在 Ampere 上比 GPTQ 慢 10-12%(无 FP4 加速);vLLM 管线并行下单用户解码随人数下降(57→29),llama.cpp grouped decode 几乎持平——建议 vLLM 用于 prefill/单用户速度/席位,llama.cpp 用于多人同速。AMD 侧 PP=3 方案亦有参考。代码由 LLM 编写、以实测与 needle 测试验证,单 commit 粒度,按需取用。
「Infra」频道最新
- FT:中国加速在能源富集腹地建数据中心,电力+低价土地成 AI 竞争筹码 — EleanorOlcott · 2026-10-12
- Lumentum 光器件售罄至 2029 年初,AI 股却仅 44/149 上周上涨 — demian_ai · 2026-10-12
- HF 员工在 DGX Spark 上跑 pi-web,手机远程遥控本地 AI agent — lhoestq · 2026-10-12
- 开源榜单 whatmodel.sh：按你的硬件推荐能跑的最佳本地模型 — jakecoolguy · 2026-10-12
- 电网成 AI 新瓶颈：Entergy 威胁高峰断电，AWS 推 Falcon 应对 — kimmonismus · 2026-10-12
- AI 并非总吃满 GPU：开发者吐槽常见误解 — mgostIH · 2026-10-12