Nemotron-3.5-Transcribe 接入 vLLM：原生语音塔+FP8/NVFP4 推理
aakashgupta · x · 2026-10-28
vLLM 项目宣布 NVIDIA Nemotron-3.5-Transcribe 的原生集成 PR 已进入 review（#64282）：
- 新增语音-语言模型架构：原生 audio tower 生成的嵌入替换 NemotronH 解码器 prompt 中的 <|audio|> 占位符
- 支持加载 30B-A4B（A4B 激活）发布权重及其 FP8、NVFP4 量化变体
- 提供 OpenAI 兼容的 chat completions（含音频）与 /v1/audio/transcriptions 转写端点
- 支持 MTP 和 DFlash2 投机解码；现在即可通过 NeMo Speech 的 vLLM 0.32.0 插件运行
所属事件:vLLM 审核 PR：原生支持 NVIDIA Nemotron-3.5-Transcribe 语音模型(2 条相关)→
「Infra」频道最新
- 9600 张 A100 的 AI 超算挂上 eBay:标价 6000 万美元还包邮 — giveen · 2026-10-29
- ENGY 借 Bittensor 网络宣称推理账单便宜约30%且不牺牲质量 — markjeffrey · 2026-10-29
- Pinokio 省磁盘指南：清缓存与磁盘节省技巧汇总 — cocktailpeanut · 2026-10-29
- Hugging Face 文本嵌入推理工具 TEI 突破 5000 星,多模态支持在途 — tomaarsen · 2026-10-29
- 离线重排节点ID+SIMD整数编码，压缩HNSW邻近图索引省内存 — _reachsumit · 2026-10-29
- llama.cpp 发布 v0.8.0 版本 — ngxson · 2026-10-29