vLLM 联合 Inferact 优化 Muse Spark Open 推理

vLLM 官方发布 Muse Spark Open 服务栈的跨硬件优化细节：在 NVIDIA 上与 FlashInfer 联合优化（包括融合算子），在 TPU 上跑出每秒 960 tokens 的速度。同时 Inferact 为该模型训练了 DSpark 投机解码草稿模型，基于块扩散一次最多提出 7 个 draft token，并支持自适应验证。

2026-10-16 ~ 2026-10-16 · 2 条相关

• Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
• vLLM 公布 Muse Spark Open 跨硬件优化：TPU 上跑出 960 tokens/秒 — vllm_project · 2026-10-16