600M 语音模型 Lure-TTS 训练成本不到 200 美元,速度达实时 4 倍
smirkishere · reddit · 2026-10-25
独立开发者基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 与更快的 Lure-Turbo 两个语音模型,总训练成本不到 200 美元,所用 GPU 不超过 RTX PRO 6000。
训练方法:
- 先训练分类器标注强度、事件(笑声、哭声、叹气等)、情绪和指令,清洗 YODAS 与 Open Yap 数据;
- SFT 阶段让模型学会输出内联标签而非朗读标签;
- 采用多教师 OPD(每项技能单独训练教师),再用 on-policy distillation 合并回主模型;
- Turbo 版将 15-pass code predictor 压缩为 3 pass,RTF 达 0.14(优于 5B 的 Fish S2 Pro 的 0.195),同时保持相同说话人相似度(ECAPA 0.699),比实时快约 4 倍。
同时开源推理引擎 Lure-TTS,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU):在 4090 上相比 Qwen-TTS 参考代码,首包音频从 10.6 秒降至 0.17 秒,整体快约 5 倍(RTF 0.53 vs 2.54),通过 0.32 秒流式分块、CUDA graphs 和批量 8 请求实现。一套 Python API/CLI/OpenAI 兼容服务器即可在 Mac、NVIDIA GPU 或任意 CPU 上运行所有 Qwen3-TTS 12Hz 检查点。
训练代码与引擎均已在 GitHub 开源,作者正在改进长句标签、情绪切换和自由改写指令。
「多模态」频道最新
- N17 模型画作被戏称为「抽象表现主义新流派」 — snikolov · 2026-10-25
- FastSDCPU 新版支持 Flux 3 Klein OpenVINO,CPU 生图仅 2-4 步 — simpleuserhere · 2026-10-25
- 网友展示「史上最丝滑」AI 转场视频，征求猜测制作工具 — aitrendz_xyz · 2026-10-25
- ComfyUI 0.42.5 更新致 Lonecatone MOSS 控制节点报错 — HQuasar · 2026-10-25
- 一个 Prompt 加四次确认：用 Claude 产出 78 秒卡通讲解视频 — alex_verem · 2026-10-25
- Canva 新图像模型 Craft：先规划版式再作画，附 7 条实操 prompt — alex_verem · 2026-10-25