单卡 RTX PRO 6000 上 Qwen3.8-27B 位精确投机解码跑到 106 t/s
stargate425 · reddit · 2026-10-12
Reddit r/LocalLLaMA 用户详细复现了在单张 RTX PRO 6000 Blackwell 上对 Qwen3.8-27B 做位精确(bit-exact)投机解码的方法,确定性推理下短 prompt 解码速度达 106.6 t/s。
关键发现
- vLLM nightly 用 DFlash2 k=9 + XQA 虽快(短 prompt 110 t/s)但输出不精确:24 个 prompt 中 15 个与无投机解码结果不同;甚至 --max-num-seqs 1 vs 32 也会让 21/24 输出漂移。
- SGLang 仅开确定性模式不够:修两处 verify kernel(GDN 递归的 tiling 顺序与 beta 精度、verify attention 按 decode 行处理)后 24/24 全部 token id 与 logprob 精确匹配。
- DeepGEMM 0.2.0 的 sm120 bf16 kernel 小 batch 时只读到约 1/3 DRAM 带宽,作者提交 PR #42145 改用 Triton tile,使无投机的精确解码达 27.7 t/s。
性能对比(单流、temp 0)
- 短 prompt:SGLang 精确+投机 106.6 t/s,仅比 vLLM 慢 3%
- 2.2k tokens:73.9 t/s,反超 vLLM
- 128k tokens:42.6 t/s,落后 24%;128k prefill 首 token 68.5s vs vLLM 44.3s
作者需要位精确输出是为了对比量化方案与引擎的任务质量——引擎自身漂移会污染实验。帖末给出完整 recipe:模型/草稿模型的具体 commit、三个补丁的 gist、DeepGEMM 修复 PR 及启动命令。
「Infra」频道最新
- River Inference 上线：以低于官方 20% 的价格提供 DeepSeek 与 GLM 模型 — 512x512 · 2026-10-12
- 推理成融资新故事:供给永增引发「永久反向拍卖」,价格持续探底 — joecole · 2026-10-12
- 「理解 AI 经济最重要的一张图」：模型商品化，算力成最确定资产 — FinanceYF5 · 2026-10-12
- 外置光源光模块带火微型 TEC,2028 年或成数亿美元市场 — jwt0625 · 2026-10-12
- 数据中心遭攻击后，Yandex 爬虫流量暴跌 99% — rooftopzen · 2026-10-12
- Strix Halo 本地推理提速:prompt 处理较 Vulkan 快 21–54% — asfbrz96 · 2026-10-12