OpenInfer 在 Qwen3-4B 上把吞吐提到 1288 token/s
青稞AI · wechat · 2026-07-23
这篇长文用 OpenInfer 在 Qwen3-4B 上落地推测解码 的例子，系统解释了 speculative decoding 为什么能提速、怎么保证无损、以及 draft model 怎么训练。
文中给出的实测结果很直接：在单张 RTX 5090 上，ShareGPT 测试里单流吞吐从 170 提升到 381 token/s，TPOT 从 5.83ms 降到 2.96ms；并发为 4 时，吞吐从 576 提升到 1288 token/s，同时保持输出无损。
文章进一步拆解了几个关键点：
- 为什么 decode 慢：LLM decode 本质受显存带宽限制，每生成一个 token 都要把权重完整读一遍。
- 为什么可以一次猜多个 token：很多位置的输出熵其实很低，尤其在 code/math 场景里更明显。
- 如何保证无损：greedy 解码下，用 causal mask 做一次 forward 就能精确验证多 token；sampling 场景则要用 speculative sampling 处理分布一致性。
- draft model 怎么做：文章最后还提到 EAGLE 一类训练思路，说明 draft 不只是“随便猜”，而是可以被专门训练出来的。
「Infra」频道最新
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- 9B 本地模型干机械活,规划交给大模型:一套省 token 的编程 agent 分工法 — Electrical_Ninja3805 · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27