SwanTale 统一模型：单波形同时生成多人语音、音效与音乐
Scobleizer · x · 2026-11-09
Swan 系列第二份技术报告 SwanTale 发布,这是一个面向多说话人语音与音频生成的统一模型,同时支持指令式生成与零样本声音克隆。
核心亮点:
- 在单一波形内联合生成语音、环境声、局部音效、歌唱与音乐
- 数据侧提出 SwanData-Caption:清洗原始音频数据、补充针对性合成覆盖,并进行多层次精准标注
- 模型侧引入 SwanVAE 支持高质量多音频模态生成,采用 reward-conditioned 质量控制、Engram 条件化与 Unified MoE 进行多任务多模态建模
- 在零样本与指令式关键 benchmark 上均取得领先成绩,表现力尤其突出
论文已上 arXiv(2608.02023),面向动画配音、有声剧、游戏、播客、短视频等创作场景。
「多模态」频道最新
- Kling 4.0 提示词演示:动作场面大场景与运镜张力 — umesh_ai · 2026-11-09
- Video-Coder：让 agent 写代码搭 3D 场景来驱动可控视频生成 — UCF-Ai-LLMs · 2026-11-09
- OmniLatent：单一共享隐空间统一几何外观与部件，单图生成可编辑 3D — Yunhan Yang · 2026-11-09
- Midjourney sref 4015763981 演示潮玩风格 3D 卡通渲染 — azed_ai · 2026-11-09
- GPT image 2 实测:超长时尚杂志封面 prompt 一次成型 — SimplyAnnisa · 2026-11-09
- Mistral 用 Voxtral 3 在 AI Engineer Paris 实时转写全场演讲 — MistralAI · 2026-11-09