图解四条 TTS 数据清洗流水线:Fish Audio、Emilia、CosyVoice、NeMo 各有侧重
solyarisoftware · x · 2026-10-26
@JinyuChai 发布了一张「从原始音频到 TTS 训练数据」的流水线对比图,指出音频来源决定了清洗重点:背景音乐、多语种语音、参差不齐的录音质量需要不同的检查手段,不能只靠 VAD、说话人分离和 ASR。
图中对比了四条主流流水线:
- Fish Audio S2:人声/音乐分离 → VAD 切分 → 自定义 SQM 质量检查 → 富转写(文本+说话人轮次+vocal 标签如 <laugh>、<inhale>)。
- Emilia-Pipe:UV 人声分离标准化 → pyannote + Silero VAD 找说话人 → Whisper 转写 → DNSMOS 质量与语言置信度过滤 → 检查字符/音素时长比例。
- CosyVoice 3:分segment+降噪、说话人分离与边界检查 → 用 Whisper、Canary、SeamlessM4T 三个模型交叉转写,过滤分歧大的样本 → MFA 标点对齐 → 音量与 token 长度比最终过滤。
- NeMo Curator:面向大规模混合语料,归一化+VAD → UTMOOS/SIGMOS 双指标质量初筛 → 按说话人分组 → 逐说话人二次质检 → 映射原始时间戳导出片段,再组 ASR+文本检查。
核心结论:不同来源的音频需要不同清洗策略,四条流水线在「音频清洗、质量检查、文本与时间对齐、逐说话人检查」四个环节的投入各有取舍。
「多模态」频道最新
- 光影失焦人像走红:AI 生成摄影质感再进化 — azed_ai · 2026-10-26
- Hailuo H3 生态扩张加速:生成更快、控制更强、部署场景持续增多 — granawkins · 2026-10-26
- CapCut 插件即将登陆 ChatGPT 桌面端，AI 生成可编辑视频草稿 — nikola_mr64990 · 2026-10-26
- 博主用 Seedance 2.5 产出惊艳 AI 视频,被赞杰作级效果 — SimplyAnnisa · 2026-10-26
- 全本地开源模型做出 10 分钟动画剧集，单集仅需约 4 GPU 小时 — Zangetsu__0 · 2026-10-26
- YC 项目 Moving Atoms 一键将激光扫描转为 5mm 精度可编辑 BIM 模型 — Scobleizer · 2026-10-26