Fish Audio Drama 3 登陆 vLLM:35B 语音模型单卡 H200 跑 128 路并发
vllm_project · x · 2026-10-15
vLLM 官方宣布 Fish Audio 的 Drama 3 语音模型已获 vLLM-Omni 支持,通过 /v1/audio/speech 接口提供声音克隆、说话人标签与富有表现力的语音生成,支持 44.1 kHz 流式音频。
- 模型规模:总参数 35B,每 token 激活 3B(稀疏 MoE 架构)
- 性能:合并优化 PR 实测单张 H200 可跑 128 路并发流,音频首包中位延迟 255 ms,每秒可生成 222.2 秒音频
- 两阶段共享同一 GPU;测试基于每轮 1,088 条 Seed-TTS-Eval 英文请求、共 5 轮取平均,使用预编码的声音参考
可直接用当前上游版本体验:vllm serve fishaudio/drama-3 --omni --port 8091,配方链接见原帖。
「Infra」频道最新
- patio11 初试多智能体开发:明确是未来,推理量将暴涨 — IgorCarron · 2026-10-15
- Hugging Face Hub 模型张量检查提速最高 20 倍，DeepSeek-V3.2 从 9.2 秒到 0.45 秒 — victormustar · 2026-10-15
- 日本 RTX 5060 Ti 16GB 价格飙 144% 至 $1292，黑五恐难有折扣 — chemist_slime · 2026-10-15
- 1174 台 Mac 组网跑开源模型:Darkbloom 60 天增 4.5 倍,成本砍半 — gajesh · 2026-10-15
- 曝字节跳动洽购联发科定制 AI 芯片，效仿谷歌自研路线 — mark_k · 2026-10-15
- Decision Models 挖矿将适配小模型：Jetson 与纯 CPU 也在计划中 — airesearch12 · 2026-10-15