YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality
Ruibin Yuan, Jiahao Pan, Junyan Jiang, Zhiyue Wu, Ziya Zhou, Jiankai Sun, Yizhi Li, Ge Zhang, Yicheng Gu, Zeyue Tian, Junyu Dai, Hanfeng Lin, Kai Li, Shangda Wu, Xuanjie Liu, Jiaming Wang, Zihan Liu, Yue Wang, Yinghao Ma, Hanzhi Yin, Kangrui Chen, Xinyue Zhang, Ziyang Ma, Mengqi Liao, Hejia Zhao, Guowei Huang, Chao Yan, Lei Ke, Jianwei Yu, Bei Liu, Joe Guo, Liumeng Xue, Gus Xia, Wei Xue, Yike Guo
eess.AS, cs.LG, cs.SD
2026-09-28
港科大等提出3.58B的YuE2,先写乐谱再出成歌。WildSongBench上均分6.73超全部公开基线,选八条到6.96;同检查点专家偏好规划49.3%对34.6%。
符号音乐模型把旋律、和声、节奏、曲式写清楚,但停在乐谱,到不了成品录音。音频歌曲模型能吐出完整歌曲,作曲过程却埋在隐空间里,改一句旋律或换一段和弦几乎没法下手。
两条路一直分家。想同时得到能读能改的谱和能听的歌,普通录音里又没有对齐的音符、和弦、拍点和段落标注。YuE2 要回答的问题很具体:一个模型能不能先写出可读乐谱,再按谱演奏,而且成歌质量还要够跟闭源系统比。
生成被写成渐进式音乐承诺:每一层只敲定一部分决定,剩下的留给下一层。像先写总谱再进棚录音,麦克风前不再临时决定主旋律。文本和歌词说意图;ABC 乐谱锁住旋律、和弦、调性、拍号、速度和曲式;25 Hz 语义 token 补上谱面写不细的演奏细节;再下一层是 25 Hz、64 维连续声学潜变量,交给单独训练的 48 kHz 立体声 VAE 解码。
一个约 3.58B、28 层的 AR-NAR Mixture-of-Transformers 同时跑两段。自回归流按因果顺序写乐谱,再写语义 token;非自回归流等计划写完,用双向 flow matching 预测声学潜变量的速度场。两路共享注意力,各用自己的归一化、投影和 MLP。离散位置看不到声学目标,声学位置能看见全部文本、乐谱和语义 token。损失是 0.25 倍下一 token 交叉熵加上条件 flow matching。
数据大约 34.6 万小时,整首歌装进 24576 上下文。训练覆盖四种输入组合,有谱或无谱都能走,所以同一检查点能直接对比规划是否有用。
谱和语义监督从录音离线构造。SheetSage2 找回可读 lead sheet;MERT2 tokenizer 每 40 ms 吐一个 ID,词表 32768,码率 375 bit/s。这些码来自冻结 MuQ 与 Qwen2-Audio-Instruct 融合成的四层残差量化目标,再训练新编码器去预测。SheetSage2-AR 只吃非自回归 Prober 的伪标签。
同一检查点三条用法:自己写谱创作;改谱当固定前缀后重生成下游;用 SheetSage2 从参考录音抽谱再换风格渲染。没有成对翻唱数据。
WildSongBench 共 192 条真实用户请求,源语言标注 94 条中文、98 条英文。标准协议每条生成两条候选,保留音素错误率更低的那条。
| 系统 | SongBench 均分 | AudioBox PQ | 备注 |
| YuE2 | 6.73 | 8.26 | 公开系统里均分最高 |
| YuE2 best-of-8 | 6.96 | 8.27 | 全部参评系统里均分最高 |
| Mureka 9 | 6.94 | 8.02 | 闭源里该项最高 |
| Suno v5 | 6.87 | 8.17 | 全场文本对齐最强之一 |
| LeVo 2 | 6.32 | 8.40 | 公开系统里 PQ 最高 |
| HeartMuLa | 6.25 | 8.29 | SongEval 均分 4.55,YuE2 为 4.26 |
best-of-8 从八条里挑,优先级是 SongBench Musicality、再 Q3O、再 PER。AudioBox PQ 不参与挑选,YuE2 两条设置都超过全部参评闭源系统。歌词 PER 为 0.0844,公开最低是 MiniMax Music 3 的 0.0627。SongEval 上 HeartMuLa 更高,论文标明它在后训练里用了 SongEval 和 AudioBox。
专家听评保留 4439 对。best-of-8 对 Suno v4.5 整体偏好 57.3% 对 30.5%;对 Suno v5 是 40.4% 对 39.9%,接近打平;对 Suno v6 是 31.6% 对 59.3%,人耳站在闭源一边。音频质量在六个闭源对照上,平局对半拆开后平均偏好 58.9%。
规划消融锁死同一检查点、同一提示、同一候选预算。整体质量 49.3% 偏好有规划、34.6% 偏好无规划(p=0.0070);音乐性 45.0% 对 29.4%。统一 MoT 对分开训练的 LM+DiT(各 1.7B,合计 3.4B):整体 53.4% 对 35.6%,音频质量 48.5% 对 29.6%;文本对齐 34.0% 对 33.5%。
谱到声兑现:对应录音旋律/和弦序列相似度 0.9464 / 0.9246,错配只有 0.2160 / 0.2473。局部改谱后旋律音高命中 84.17%,和弦 79.54%,未改段落旋律与和声保持 90.16% 到 94.34%。零样本翻唱 948 首未见作品,带完整谱的 CLEWS mAP 为 0.647,对照 SongEcho 的 0.419;去掉整份谱掉到 0.006。
MERT2-30s 在 MARBLE 15 项里 14 项超过先前最好。SheetSage2-AR 在 15 个转录指标对里拿下 12 个,只吃 Prober 伪标签,还在 10 项上超过自己的标签器。
对做歌曲生成的人,先作曲再演奏从产品叙事落成可消融的机制:同一检查点证明写谱能抬主观质量,统一 MoT 也比分家的 LM+DiT 更讨专家喜欢。可读 ABC 让外部语言模型能改谱,agent 改歌不必只改提示词。3.58B 检查点已经公开,参数量小于八个公开基线里的六个。
best-of-8 的 6.96 不能当成一条就比 Suno v6 好。标准两条预算下均分 6.73,仍低于 Mureka 9 的 6.94 和 Suno v5 的 6.87;人耳对 v6 明显落后。这是能打进闭源档的开源系统,还不是全面超过。
正文没有单独的局限节。几处数字已经把话说明白了。
best-of-8 按 SongBench Musicality 挑选,再用这个指标宣称全部系统里均分最高,选择和评分部分循环。标准协议用两条候选对齐闭源接口,八条预算不是同一量级。
人耳和自动指标打架:SongBench 上 Bo8 高于 Suno v6,专家整体偏好却是 31.6% 对 59.3%。音频质量是强项,整体听感还没过 v6。
谱-声一致性用冻结的 SheetSage2 再转写,专家会校正,训练目标也来自同一转写器家族,仍可能有同源偏差。局部编辑其实整首歌重生成。agent 改歌只有 The Last Train 一条案例,九步十四版,没有对照实验。歌词 PER 不是公开最强,Bo8 还从 0.0844 升到 0.0979。翻唱里去掉和弦会抬风格对齐和 Musicality,同时掉作品身份检索。