Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token

vllm_project · x · 2026-10-16

vLLM 系列推文之一：Inferact 为 Muse Spark Open 训练了 DSpark 投机解码草稿模型。块扩散一次提出最多 7 个 draft token，自适应验证用基于置信度的调度，滑动窗口注意力让长上下文下的草稿路径保持轻量。配方同时支持 CUDA 和 ROCm。

HF 模型卡给出实测接受率：GSM8K 42.04%（3.94 tokens/cycle）、MATH-500 39.69%、HumanEval 37.23%、SWE-bench Pro 23.69%，百万 token BEAM 场景约 28.5-29.9%。草稿模型为 5 层解码器，从目标模型第 13/29/45/57/61 层抽取隐状态做条件输入，体积约 10.6GB。