Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度
Acceptable-Cycle4645 · reddit · 2026-10-16
audio.cpp 宣布支持 Fish Audio 的 Drama3 语音合成模型（由 JarodMica 贡献），性能数据亮眼：RTX 5090 上全速运行可达 5 倍实时速度；用 CPU 权重卸载加分阶段释放（staged release）模式，低于 8 GB VRAM 也能跑出约 2 倍实时速度。
关键数据（RTX 5090, Q4k 量化）
- 全 CUDA、512 chunk：峰值显存 26,990 MiB，warm RTF 0.195
- CPU 卸载 + staged release、512 chunk：9,680 MiB，RTF 0.484
- CPU 卸载 + staged release、256 chunk：仅 7,782 MiB，RTF 0.521
- Vulkan 全量：27,234 MiB，RTF 0.247
现状与问题
- 目前优化集中在 CUDA；模型也可在 Vulkan 和 Metal 上运行，但仍有改进空间
- Vulkan 上出现过触发 token 上限的请求，多说话人生成时发现异常静音
- 正式进入 minor release 前还会有多轮迭代
作者欢迎社区贡献优化，但要求改动共享框架的代码必须是增量式、opt-in 的，以免影响其他 100+ 共用该框架的模型。
所属事件:Fish Audio Drama3 语音模型接入 audio.cpp(2 条相关)→
「Infra」频道最新
- 拿到新硬件就开跑：垃圾佬第一时间本地部署模型 — lxfater · 2026-10-16
- Together AI 提出 Score Centering:量化推理下 RL 训练不再崩 — nrehiew_ · 2026-10-16
- AI 推理正走向异构分解:Prefill 与 Decode 分用专用芯片 — AccBalanced · 2026-10-16
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16