OpenInfer 在 Qwen3-4B 上把吞吐提到 1288 token/s
青稞AI · wechat · 2026-07-23
这篇长文用 OpenInfer 在 Qwen3-4B 上落地推测解码 的例子，系统解释了 speculative decoding 为什么能提速、怎么保证无损、以及 draft model 怎么训练。
文中给出的实测结果很直接：在单张 RTX 5090 上，ShareGPT 测试里单流吞吐从 170 提升到 381 token/s，TPOT 从 5.83ms 降到 2.96ms；并发为 4 时，吞吐从 576 提升到 1288 token/s，同时保持输出无损。
文章进一步拆解了几个关键点：
- 为什么 decode 慢：LLM decode 本质受显存带宽限制，每生成一个 token 都要把权重完整读一遍。
- 为什么可以一次猜多个 token：很多位置的输出熵其实很低，尤其在 code/math 场景里更明显。
- 如何保证无损：greedy 解码下，用 causal mask 做一次 forward 就能精确验证多 token；sampling 场景则要用 speculative sampling 处理分布一致性。
- draft model 怎么做：文章最后还提到 EAGLE 一类训练思路，说明 draft 不只是“随便猜”，而是可以被专门训练出来的。
「Infra」频道最新
- Kimi K3 登陆 Together，预留吞吐成本低 65% — togethercompute · 2026-07-27
- OpenAI 可能撞上算力上限，Codex 和 ChatGPT Work 四个月涨到 1000 万 — JoshuaJBouw · 2026-07-27
- NVIDIA 称 Vera CPU 正加速下一代 CPU 和 GPU 设计 — nordicinst · 2026-07-27
- NVIDIA 称 Nemotron 3 Ultra 在 RTL 芯片设计任务上达 97.1% — NVIDIAAI · 2026-07-27
- NVIDIA 说 Vera CPU 让部分 EDA 工作负载提速 1.5 倍 — NVIDIA Blog · 2026-07-27
- 本地 Qwen 模型驱动机械臂测试 78 款手机续航 — gappyvalley · 2026-07-27