港科大等开源 YuE2 音乐模型:评分超 Suno v6,支持曲稿级编辑
量子位 · wechat · 2026-09-20
香港科技大学联合 M-A-P、NOIZAI、斯坦福等机构发布并开源 3.6B 参数音乐生成模型 YuE2(Mixture-of-Transformers 架构),在 WildSongBench 192 个 prompts 上平均分 6.7316,逼近 Suno v5 与 Mureka9,超过 Suno v6/v6Wild;八选一设置下以 6.9632 登顶 17 组参评系统,已登顶 GitHub Trending。
核心创新——symbolic planning:生成音频前先产出含人声旋律、器乐旋律、和弦与段落结构的 ABC 记谱双轨曲稿,让音乐可定位、修改、验证与迭代。
- Agentic Music Editing:自然语言让 Agent 读取曲稿、改写和弦或音符再重新演绎。定向修改实验中,目标音高匹配率从 0.83% 升至 93.75%,和弦一致率从 0 升至 83.13%,未修改部分旋律/和弦相似度保持 0.96/0.93 以上。
- Cover Song:SheetSage2 把已有录音还原成曲稿再重新演绎,948 首零样本评测中 CLEWS 首位命中率达 71.3%(无曲稿仅 0.3%)。
- 同时开源 MERT2 音乐理解模型与配套 tokenizer/codec,MERT2 在 MARBLE 15 项指标中 14 项领先。
模型基于 CC0 授权数据训练,4090 上一分钟出歌,GitHub/HF 均可下载。
「多模态」频道最新
- 实测 Firefly 浏览器时间线剪辑：Quick Cut 自动踩点省大量时间 — LudovicCreator · 2026-11-12
- 一条提示词不到一小时,Claude+Blender MCP 生成可玩 3D 游戏 — StrainNo9529 · 2026-11-12
- 一条提示词一小时做出 3D 动作游戏：新版 Fable 实测惊艳 — Cojj25 · 2026-11-12
- 开源离线语音克隆应用 Izwi：Rust 编写，16GB M1 Pro 可跑 — zinyando · 2026-11-12
- 开源 TRELLIS Studio：本地图像生 3D、自动绑骨加 83 套动画 — North_Vegetable8462 · 2026-11-12
- MiniMax H3 Image 生成 3D 游戏场景仅 10 秒,比 GPT Image 快 3 倍 — HeyToha · 2026-11-12