Fish Audio Drama 3 Technical Report
Dawei Han, Shidong Li, Shijia Liao, Jiahua Liu, Songting Liu, Qingzheng Wang, Yuxuan Wang, Xin Chen, Yifan Cheng, Tianyu Li, Gangin Park, Xuehao Yang, Chang Zeng, Haoyang Zhang, Ruoyi Zhang, Xiangyu Zhang
cs.SD, cs.CL
2026-10-13
Fish Audio 开源的 Drama 3 用每 token 只激活 3B 的 35B 主干,把文本做成可多轮返工、可改词的语音表演,单卡解码 271 帧每秒,五种语言克隆错误率最低。
大规模文本转语音已经能把字读清,说话人相似度也接近真人。有声书、广播剧、影视和游戏配音要的是一场表演。台词得写成自然语言,不合格就重来一版,多角色同场,错词只改那个词。
S2 仍有四处限制。全注意力吞进全部参考和旧版,长会话能到几千个音频 token。不能对已生成的一版写意见重做。改一个词必须整段重来。奖励若是字错率和相似度,笑声、长停顿、耳语都会被罚。
Drama 3 沿用 S2 的音频分词器,把 44.1 kHz 压成每秒约 21.5 帧、每帧 10 个 codebook。第 0 本是语义码,后 9 本是越来越细的残差量化,编解码都因果。一秒语音在主干只占约 21.5 个位置,参考只以 token 进入。
主干来自 Qwen3.5-35B-A3B,40 层。每四层三层是 Gated DeltaNet,历史压进固定大小的状态,一层门控全注意力用来找回远处的音色和台词。每层 MoE 从 256 个专家路由 8 个,加共享专家,每 token 约激活 3B。
S2 把 10 本嵌入都送进主干。这里只回灌语义码和第一本声学码,细码绕开主干,免得自己采样的结果把后面带偏。声学码用 codebook-MTP:13 层全宽注意力,沿时间看完整段,参考细码直接可见。前 4 层共享,后 9 层各写一本,并读刚刚写下的上一本。旧的 Fast AR 是帧内小网络,只看见主干状态的一个投影。
任务都写成对话,损失只在助手说出的音频上。预训练约几千亿 token、约 80 种语言,优化器是 Muon。序列从 8K 延到 16K,才加入长录音、流式文本和 infilling。指令微调最长 32K,教点状标签、包住几个词的标签、整句风格和自由备注。下一轮写更软或更暖,旧音频留在上下文里重做。整场台词一次给完,后句能影响前句。
强化学习只留一个更小的语音模型,按人类偏好打分,不看字错率。它直接读音频 token。分数封顶后换成同组胜率。每题采 8 条,用组相对策略优化 GRPO,无 KL,解码器冻结。每步 1536 题乘 8 条,步数短,免得奖励被刷高。
S2 每帧约读 15.6 GB 权重,总参数约 4.6B。Drama 3 每帧约读 6.0 GB,专家用分块 FP8,解码器只过一遍。一张 H200 单流 271 帧每秒,S2 为 177。
公开基准用同一模型,温度 0.7、top-p 0.7、top-k 30。静音、过短、失控长度会重生成再记分。
Expresso 的真人对照里,风格版都更不像默认音色。耳语相似度低 0.310,清晰朗读低 0.019。相似度奖励因此在 62.0% 到 99.7% 的配对里挑选默认读法。笑声把词错误率抬高 0.79 个百分点。写明风格后,偏好模型选中耳语的比例为 62.2%,选中笑声为 64.4%;不写则是 10.6% 和 27.1%。
| 设置 | 指标 | SFT | RL 后 |
| Seed-TTS 中文 | 首条 CER | 1.66 | 1.00 |
| Seed-TTS 中文 | 重生成后 CER | 0.84 | 0.83 |
| Seed-TTS 英文 | 首条 WER | 3.49 | 2.20 |
| Seed-TTS 英文 | 重生成后 WER | 1.60 | 1.54 |
| 信号失败 | 中文 / 英文 | 2.82% / 3.40% | 1.24% / 1.84% |
无转录奖励,首条废品从中文 2.82% 降到 1.24%,英文从 3.40% 降到 1.84%。过检成片的中文 CER 从 0.84 到 0.83,英文 WER 从 1.60 到 1.54。
LibriSpeech-PC 一条参考,WER 1.85,相似度 0.605,音质分 UTMOS 4.31。三条参考相似度 0.633,错误率不变。OmniVoice 为 1.30 和 0.729,Qwen3-TTS 为 1.60 和 0.704,CosyVoice 3 为 1.59 和 0.694。错误率和相似度都更差。音质分 4.31,高于两家的 4.28,低于 Qwen3-TTS 的 4.41。
24 语里,中文、荷兰语、英语、德语、土耳其语的错误率低于表中每一家。中文 CER 0.63,ElevenLabs v4 为 0.66,S2 为 0.73。英文 WER 1.13,对照都不低于 1.56。15 种语言低于 OmniVoice。粤语 CER 22.70,高于 OmniVoice 的 17.71;日语 5.02,高于 S2 的 2.76。
英文 1088 句流式 WER 1.86,非流式 1.83,相似度同为 0.640。
中文插入相似度 0.909、替换 0.898,高于 CosyEdit2 的 0.89,但插入错误率 2.15 高于其 1.38。删除错误率 7.82,低于 8.23。英文插入错误率 3.03,高于 SSR-Speech 的 1.75。对 Cartesia 的 infill,中文平均错误率 basic 为 3.69 对 8.64,full 为 2.35 对 6.53。
情绪准确率 55.5 升至三轮后 58.2,风格 76.5 升至 81.8。Prompt-Fixed 设置下,EditX 情绪从 53.6 升至 69.3,风格从 45.6 升至 63.8。副语言靠点标签补中间一段,从 1.32 到 2.32,EditX 从 1.91 到 2.89。
一个开源模型同时做克隆、导演、返工、多角色、改词和流式长音频。报告按总参数称它是目前最大的开源语音模型,但每 token 只激活约 3B,每帧读入不到 S2 的五分之二,单流仍更快。
Expresso 说明字错率和相似度会罚表演。偏好强化学习把首条废品打下去,过检成片的可懂度没有退。情绪返工只抬了 2.7 个百分点,英文克隆相似度仍落后。对着上一版写意见,或只改一个词,这两件事能进制作流程。
报告没有单列局限。
阅读克隆相似度 0.605,三参考也只有 0.633。三条参考是自行加的。日语、韩语差于 S2。英文改词的错误率多项更高。情绪三轮停在 58.2,专用模型到 69.3。风格分的裁判是本次跑的 Gemini-2.5-Pro,EditX 引自原文。偏好模型对清晰朗读几乎无感,看到指令也只有 8.1% 选中风格版。Expresso 打分的是真人录音。模型自己会不会耳语,没有人类听感。多角色整场和结构消融没有数字。解码器在强化学习里冻结,无 KL 的短程训练走了多远,也没有测。部分对照分引自原论文,且失败样本会重生成。