18M 参数开源 TTS 模型 Silencio-2:CPU 上 20 倍实时,支持情绪与音效标签
N1kuson · reddit · 2026-11-02
开发者发布开源 TTS 模型 Silencio-2(BlueRoseLabs,权重 CC-BY-4.0,推理代码 MIT),基于 Kyutai Pocket TTS 18M 微调,可在文本中内嵌标签控制语音:
- 情绪:happy、sad、angry、fear、surprised、whisper
- 音效:laugh、sigh、gasp、cough、clearthroat
关键指标:18.2M 参数(含声纹克隆编码器 27.9M),磁盘仅 112 MB;Apple M4 上 4 线程 CPU 约 20 倍实时,无需 GPU;24 kHz、支持流式与短样本声音克隆;训练仅用 2x T4 约 6 小时、50 小时音频。
踩坑复盘(作者认为是最大价值):
- Run 1:标签训练后几乎不起作用
- Run 2:用 AudioSet 标签器过滤数据,结果把笑声、咳嗽等全部静默过滤掉了——按标签统计行数才发现
- Run 3:改用 3 秒滑窗,设计好的笑声样本 23 条中 0 条过阈值,训练还因 batch 过大在 T4 上崩溃
- Run 4:彻底去掉过滤器,即本模型。结论:clip 级音频标签器不适合做混合短音效的门控,训练前务必按标签计数并用耳朵抽查
已知弱点:whisper 标签最不稳定,各标签随 seed 波动;未跑正式 WER,预期略逊于基座(1.9% vs 1.5%)。
「多模态」频道最新
- AI 生成 Tom Brady 悬浮夜空系列图，超现实质感惊艳 — egeberkina · 2026-11-02
- vlens 开源：把 Qwen3-VL 隐层激活直接成像，再由同一模型读回验证 — Sauers_ · 2026-11-02
- 实测 Claude+Blender MCP 把 1.5 公里 3DGS 场景转成可建模资产 — nptacek · 2026-11-02
- Midjourney 复古胶片感 prompt：长曝光+漏光参数实测出片 — michaelrabone · 2026-11-02
- Reddit 网友分享 AI 短片《3008 vs Hal 9000》：致敬经典科幻 — LordFreeza001 · 2026-11-02
- AI 一键生成可漫游 3D 社区规划：84 套住宅 7 种户型 — NathanSRobinson · 2026-11-02