港科大等开源 YuE2 音乐模型:评分超 Suno v6,支持曲稿级编辑
量子位 · wechat · 2026-09-20
香港科技大学联合 M-A-P、NOIZAI、斯坦福等机构发布并开源 3.6B 参数音乐生成模型 YuE2(Mixture-of-Transformers 架构),在 WildSongBench 192 个 prompts 上平均分 6.7316,逼近 Suno v5 与 Mureka9,超过 Suno v6/v6Wild;八选一设置下以 6.9632 登顶 17 组参评系统,已登顶 GitHub Trending。
核心创新——symbolic planning:生成音频前先产出含人声旋律、器乐旋律、和弦与段落结构的 ABC 记谱双轨曲稿,让音乐可定位、修改、验证与迭代。
- Agentic Music Editing:自然语言让 Agent 读取曲稿、改写和弦或音符再重新演绎。定向修改实验中,目标音高匹配率从 0.83% 升至 93.75%,和弦一致率从 0 升至 83.13%,未修改部分旋律/和弦相似度保持 0.96/0.93 以上。
- Cover Song:SheetSage2 把已有录音还原成曲稿再重新演绎,948 首零样本评测中 CLEWS 首位命中率达 71.3%(无曲稿仅 0.3%)。
- 同时开源 MERT2 音乐理解模型与配套 tokenizer/codec,MERT2 在 MARBLE 15 项指标中 14 项领先。
模型基于 CC0 授权数据训练,4090 上一分钟出歌,GitHub/HF 均可下载。
「多模态」频道最新
- 实测:丢品牌手册进 Claude,9 成出图比 GPT 更贴品牌 — sahilypatel · 2026-09-20
- Filmic Plus 发布:一键把 Blender 场景变成富士胶片相机 — ssh4net · 2026-09-20
- YuE2 进驻 ComfyUI：开源音乐生成带钢琴卷帘，号称超越 Suno — Maleficent-Tell-2718 · 2026-09-20
- 用户吐槽 Minimax 参考动画难以复刻 Beeble 效果 — galo64 · 2026-09-20
- 剪映发布 Hub:AI 生成视频一键进入多轨剪辑,手机端动嘴剪片 — 量子位 · 2026-09-20
- Grok Imagine 图像 2.0 跃居文生图榜第 4,一代升 14 名 — XFreeze · 2026-09-20