专题 · FULL STORY

NVIDIA 开源语音转录模型 Nemotron 3.5 Transcribe

NVIDIA 于 10 月 28 日开源发布可提示的语音转录模型 Nemotron 3.5 Transcribe（30B MoE，激活约 4B），随后 vLLM 社区迅速跟进，相关 PR 已进入审核阶段，将为其提供原生集成支持。

2026-10-28 ~ 2026-10-29 · 2 集 · 12 条

第 1 集 · NVIDIA 开源 Nemotron 3.5 Transcribe 30B 语音模型(2026-10-28,10 条)

NVIDIA 于 10 月 28 日发布开源权重、可提示的语音转录模型 Nemotron 3.5 Transcribe（总参数 30B 的 MoE，激活约 4B），并同步推出配套的 NeMo Speech 开放权重 ASR 模型。两套模型在第三方评测中均取得开源领先成绩，且已可在 vLLM 0.32 与 SGLang-Omni 上部署，高质量语音转写的使用门槛被显著拉低。

已确认

  • NVIDIA 官方（@NVIDIAAI）发布 Nemotron 3.5 Transcribe，将多语言转录、说话人分离、翻译与音频问答整合进单一模型，支持 40 种语言转录、31 种语言与英语互译；权重、数据与训练配方全部开放，已上架 Hugging Face（NVIDIA-Nemotron-3.5-Transcribe-30B-A4B）并提供在线 demo。官方还提到微调可降低 45.8% 词错率。
  • NVIDIA 官方后续宣布，该模型从发布首日起即可通过 SGLang-Omni 部署。
  • Baseten 确认其开放权重特性，并指出模型可在多人同时说话时标注说话人。
  • @realmrfakename 补充称该模型完全开源，权重、代码、训练配方、agentic skills 与 Granary-v2 数据集一并放出，由 Nemotron 3.5 Lightning 驱动（此为转述，细节以官方仓库为准）。
  • Artificial Analysis 评测显示，该模型在非流式转写上以 2.8% WER 与 Mistral 的模型并列开源第一。
  • Artificial Analysis 在 DeepInfra 托管端点实测：速度因子达 75 倍，转录 1 分钟音频不到 1 秒，成本为每 1000 分钟音频 $2.00。
  • vLLM 项目方称，NVIDIA NeMo Speech 的开放权重英文 ASR 模型在 Open ASR 排行榜登顶：英文 5.33% WER，多语言在 7 种语言上平均 4.62% WER；架构为音频编码器 + Mamba–Transformer 混合 MoE，vLLM 0.32 已可部署。

为什么重要

  • 单一模型覆盖转录、说话人分离、翻译与音频问答，加上开源权重与极低成本（$2/千分钟），显著降低了高质量语音转写的使用门槛。
  • 高激活效率的 MoE 设计（30B 总参数仅 4B 激活）带来 75 倍实时速度，展示 MoE 在语音模态上的工程可行性；vLLM 与 SGLang-Omni 双框架原生支持意味着社区可快速自部署。

第 2 集 · vLLM 审核 PR：原生支持 NVIDIA Nemotron-3.5-Transcribe 语音模型(2026-10-28,2 条)

vLLM 项目的一个 PR（#64282）已进入 review 阶段，将为 NVIDIA Nemotron-3.5-Transcribe 语音语言模型提供原生集成。该 PR 新增语音-语言模型架构与原生音频塔，支持 FP8/NVFP4 量化推理，并提供转写与对话两类端点，扩展了 vLLM 在语音方向的能力。