腾讯开源语音基础模型 AuK：自然语言指令统一生成与编辑
realmrfakename · x · 2026-09-10
腾讯发布并开源语音基础模型 AuK（1.5B 参数），用自然语言指令统一语音生成与编辑，权重完全开源。
- 能力覆盖五大任务族：语音生成、内容编辑、增强与分离、副语言编辑（如换口音、注入愤怒情绪）、声学编辑（修背景噪音、替换单个词）
- 零样本声音克隆：无需参考转录文本，另有完整 TTS、人声分离与录音棚级降噪
- 规模惊人：构建约 30.3 亿条指令-音频样本、约 195 万小时有效监督数据，官方错误率仅 2.65%
- 架构：多模态 LLM 做语义条件 + 覆盖语音/通用音频/音乐的音频 VAE + 混合整流流 Transformer（dual-stream MMDiT）
- AuK-Flash：两阶段蒸馏（轨迹级一致性初始化 + 解耦 DMD），4 步推理即可接近教师模型质量，无需 CFG
适用于配音、播客、游戏音频等场景，依赖 Qwen3-Omni/ASR/ForcedAligner。
所属事件:腾讯混元开源 AuK 语音基础模型，一句话统一语音生成与编辑(6 条相关)→
「多模态」频道最新
- 2 小时 50 美元复刻 Kurzgesagt 格式，引出「AI 创作缺意图」之争 — motionbynick · 2026-10-27
- 29 美分用 Dreamina Seedance 伪造大坝灾难「幕后花絮」 — Standard_Spell5873 · 2026-10-27
- Reddit 求助：Qwen Image 2.1 换装总毁身材比例，Flux 3 Klein 略好 — Existing-Box-7866 · 2026-10-27
- ComfyUI 打造跨场景一致角色：RealVisXL V5 加 img2img 面部参考 — MiaLarsonJL · 2026-10-27
- 29 美分生成迈克尔·贝式屋顶大片，Seedance 实测效果惊人 — PersonalSpace_4225 · 2026-10-27
- 3 步 Turbo LoRA 实测:Moss 图像模型极速出图效果展示 — JadedScorpion · 2026-10-27