vLLM 公布 Muse Spark Open 跨硬件优化：TPU 上跑出 960 tokens/秒
vllm_project · x · 2026-10-16
vLLM 官方发布 Muse Spark Open 服务栈的跨硬件优化细节（系列 4/6）。
- NVIDIA：FlashInfer 与 vLLM 联合优化，包括融合 norm/gating/residual kernel、TEP pooler/unpooler 分片与融合 MNNVL 集合通信、FP32-norm→TF32-router 路径
- AMD：MI355X 在 ROCm 上支持 FP8 与 MXFP4 的 TP/PP
- TPU：初步 TorchTPU 支持；配合 DSpark（接受长度 6），Muse Spark Open megakernels 在 4 片 TPU v7 上超 650 tokens/秒、8 片上达 960 tokens/秒；无投机采样时分别超 270 和 350
- 另一条（3/6）介绍 Inferact 训练的 DSpark 投机采样器：块扩散单次最多提出 7 个 draft token，置信度调度做自适应验证，滑动窗口注意力保持 drafting 路径轻量，支持 CUDA 与 ROCm
所属事件:vLLM 联合 Inferact 优化 Muse Spark Open 推理(2 条相关)→
「Infra」频道最新
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16
- AWS 延期 Claude Sonnet 3/3.5/3.6 EOL 至 2026 年 11 月 13 日 — repligate · 2026-10-16
- Apple、Meta CEO 热炒 Mac 芯片推理，有人断言分布式推理网络是百亿美元机会 — gajesh · 2026-10-16
- NVIDIA 74B 新模型登顶美国开源榜，已可本地跑在 Mac 上 — SumitGup · 2026-10-16