Baseten 上线 Nemotron 3 Diarization：单卡支持 500 路实时分离流
baseten · x · 2026-09-24
NVIDIA Nemotron 3 Diarization 说话人分离模型上线 Baseten Model Library（day 0 支持），定位为开源、端到端的实时分离方案，替代传统「分割+嵌入聚类」流水线。
- 单张 RTX PRO 6000 可支撑 500+ 路并发的一小时长音频分离流（加转写后为 190 路）
- 算法延迟可配置 0.32s–30.4s，每音频小时成本低至约 1 美分
- 单次推理即可标注最多 8 个说话人，无需聚类，支持无限时长音频
- 基于 Streaming Sortformer 的约 1 亿参数 transformer，将 16kHz 音频转为 10ms 帧输出说话人活动概率；说话人活动信号还可反哺 VAD、端点检测与语音 agent 的轮次判断
所属事件:Baseten 上线 NVIDIA 说话人分离模型，单卡 500 路(2 条相关)→
「Infra」频道最新
- Gemini 4 Carbon 登陆 Databricks,企业文档测试得分 66.7% — matei_zaharia · 2026-11-11
- Anthropic:让 Claude 移植内核，3 天跑通 AMD GPU — scottleibrand · 2026-11-11
- Chick-fil-A 在 2800 家门店跑边缘 K8s, fryer 每月发数十亿条 MQTT — SumitGup · 2026-11-11
- RX 6800 跑 ComfyUI 快 3 倍：启用被静默关闭的 INT8 计算 — TheCat001 · 2026-11-11
- Shopify RoutingTrie:把元数据过滤前置到生成式检索解码,Hit@100 提升 28.6 个百分点 — _reachsumit · 2026-11-11
- 去掉目录拷贝:在 Apache Pinot 上直接跑混合搜索,2.77 亿商品向量+BM25 p50 仅 6.5-9ms — _reachsumit · 2026-11-11