开源 DSpark 推测解码器使 Inkling 吞吐量提升 1.89 倍
开发团队基于 SpecForge 和在线运行的 SGLang 目标引擎,为 Inkling NVFP4 模型训练并开源了全新的 DSpark 推测器。该推测解码实现显著提升了模型的推理效率,在真实在线环境中成功将解码吞吐量提升了 1.89 倍。
2026-07-23 ~ 2026-07-23 · 3 条相关
- 开源 DSpark 推测解码器:Inkling 解码吞吐量提升 1.89 倍 — BanghuaZ · 2026-07-23
- SGLang 上的 DSpark 解码吞吐提升到 1.89 倍 — BanghuaZ · 2026-07-23
- DSpark 在在线 SGLang 上蒸馏,B200 解码吞吐提升 1.89 倍 — ying11231 · 2026-07-23