开源 DSpark 推测解码器使 Inkling 吞吐量提升 1.89 倍

开发团队基于 SpecForge 和在线运行的 SGLang 目标引擎,为 Inkling NVFP4 模型训练并开源了全新的 DSpark 推测器。该推测解码实现显著提升了模型的推理效率,在真实在线环境中成功将解码吞吐量提升了 1.89 倍。

2026-07-23 ~ 2026-07-23 · 3 条相关