单张 RTX 6000 Pro 跑 Qwen3.8-Next-Flash 飙到 240 t/s
AdventurousSwim1312 · reddit · 2026-08-31
Reddit 用户在 jpezzulli 的 sglang 补丁(178 t/s)基础上,让 AI 迭代数天后把单张 RTX 6000 Pro MaxQ(300W)上 Qwen3.8-Flash-Next-NVFP4 的解码速度推到 近 240 t/s(该模型 nvfp4 理论带宽上限约 280 t/s)。
已用技巧:
- lm head 和若干层从 bf16 进一步量化到 fp8,降低带宽占用
- 部分层 kernel 调优提升 GPU 效率
- MTP 配置调优
接下来计划:全层 nvfp4 量化、层融合 kernel、MTP 后训练并尝试 eagle3 head。复现资源齐全:补丁仓库、起始仓库与模型 checkpoint 均已开源。测试配置:Ryzen 9 3950X + 128GB RAM(放 ngram 表)+ 1x RTX 6000 Pro MaxQ。
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16