OpenInfer 在 Qwen3-4B 上把吞吐提到 1288 token/s
青稞AI · wechat · 2026-07-23
这篇长文用 OpenInfer 在 Qwen3-4B 上落地推测解码 的例子，系统解释了 speculative decoding 为什么能提速、怎么保证无损、以及 draft model 怎么训练。
文中给出的实测结果很直接：在单张 RTX 5090 上，ShareGPT 测试里单流吞吐从 170 提升到 381 token/s，TPOT 从 5.83ms 降到 2.96ms；并发为 4 时，吞吐从 576 提升到 1288 token/s，同时保持输出无损。
文章进一步拆解了几个关键点：
- 为什么 decode 慢：LLM decode 本质受显存带宽限制，每生成一个 token 都要把权重完整读一遍。
- 为什么可以一次猜多个 token：很多位置的输出熵其实很低，尤其在 code/math 场景里更明显。
- 如何保证无损：greedy 解码下，用 causal mask 做一次 forward 就能精确验证多 token；sampling 场景则要用 speculative sampling 处理分布一致性。
- draft model 怎么做：文章最后还提到 EAGLE 一类训练思路，说明 draft 不只是“随便猜”，而是可以被专门训练出来的。
「Infra」频道最新
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11
- PyTorch Day Korea 2026 首届线下大会启动,9月13日截止征集演讲 — PyTorch · 2026-09-11
- 本地跑 LLM 选卡:4 张 CMP-170HX 涨价 vs Mac Studio M5 — rumboll · 2026-09-11
- llama.cpp 为 RDNA4 调优 Flash Attention,大上下文提升明显 — pmttyji · 2026-09-11