vLLM 原生支持 NVIDIA Nemotron-3.5-Transcribe：转写+对话端点、FP8/NVFP4

vllm_project · x · 2026-10-28

vLLM 项目正在审核一个 PR，为 NVIDIA Nemotron-3.5-Transcribe 语音语言模型添加原生集成：新增 Nemotron35TranscribeForConditionalGeneration 架构，原生音频塔将 log-mel 特征嵌入替换提示中的 <|audio|> 占位符，接入现有 NemotronH 解码器。

PR 支持加载已发布的 30B-A4B checkpoint 及其 FP8、NVFP4 量化变体，可通过 OpenAI 兼容的 chat completions（带音频）和 /v1/audio/transcriptions 端点提供服务，并支持 MTP 与 DFlash2 投机解码（顺带修了共享投机解码代码里的一个 DFlash2 小 bug），不改动引擎、调度器或 API server。今天就可通过 NeMo Speech 的 vLLM 0.32.0 插件运行同类功能。