23M 参数可控 TTS 开源:12 项数值调节,CPU 实时运行
Working_Hat5120 · reddit · 2026-10-19
作者发布了 SteerTTS,一个可用数值精细控制语音的小型英语 TTS 模型,模型与完整评测表已在 Hugging Face 开源(权重 CC BY-NC 4.0,代码 MIT)。
架构与能力:
- 9.6M 声学模型(attention + 双向 Mamba-3,FastPitch 风格)+ Vocos 声码器,共 23M 参数
- 12 个控制维度,以相对所选音色中性语音的 z-score 表示:语速、响度、中位音高、音高范围、结尾升降、停顿、频谱倾斜、气声相关指标等
- 另有 51 个风格标签、自由文本 prompt(解析为可检视的 JSON 请求)、行内标记(强调、[pause 400ms])、句级流式输出
- 内置 2,825 个匿名音色,附带实验性 zero-shot 克隆
性能: RTX 5070 上 RTFx 约 60–80;CPU 上(无可选 flow refiner)约 4–8,CPU 首包流式音频约 0.5 秒;Open TTS Leaderboard 英文集本地测得平均 WER 约 1.8%(非官方提交)。
作者坦承的短板: 响度/音高/倾斜可控性好,停顿、voicing、CPPS 控制弱;情绪标签更像风格开关,独立情绪分类器基本分不出来;克隆相似度低;自由文本对否定句处理差(“not fast” 可能输出快);仅支持英语,尚无人工评测。
「多模态」频道最新
- UBC 与 Vector Institute 提出免数据扩散蒸馏:一步生成 20GB 显存超越 DMD2 — vector-institute · 2026-10-19
- Topview 开源 3D Builder:AI 视频生成前先摆好机位与走位 — Aiden_Tech_Ai · 2026-10-19
- Midjourney sref 组合实测:两串风格码融合出指环王钢笔速写风 — sergeantsref · 2026-10-19
- AI 视频让同一角色的脸与声音横跨五十年保持一致 — thenoraquill · 2026-10-19
- 零提示词跑出宣传片:花叔 skill 被实测带火,作者文章流量暴涨 — AlchainHust · 2026-10-19
- Vidu Q4 Preview 主攻视频生成三大痛点:快动作、角色一致性、镜头控制 — Aiden_Tech_Ai · 2026-10-19