单张 RTX 6000 Pro 跑 Qwen3.8-Next-Flash 飙到 240 t/s
AdventurousSwim1312 · reddit · 2026-08-31
Reddit 用户在 jpezzulli 的 sglang 补丁(178 t/s)基础上,让 AI 迭代数天后把单张 RTX 6000 Pro MaxQ(300W)上 Qwen3.8-Flash-Next-NVFP4 的解码速度推到 近 240 t/s(该模型 nvfp4 理论带宽上限约 280 t/s)。
已用技巧:
- lm head 和若干层从 bf16 进一步量化到 fp8,降低带宽占用
- 部分层 kernel 调优提升 GPU 效率
- MTP 配置调优
接下来计划:全层 nvfp4 量化、层融合 kernel、MTP 后训练并尝试 eagle3 head。复现资源齐全:补丁仓库、起始仓库与模型 checkpoint 均已开源。测试配置:Ryzen 9 3950X + 128GB RAM(放 ngram 表)+ 1x RTX 6000 Pro MaxQ。
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Qdrant 实测 Perplexity 视觉文档嵌入:1-bit 压缩后体积仅 1/21 — jrxna · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16