25.4万首公版乐谱渲成开源分轨,多轨2734小时

SPDMX: Large-Scale Open Stem Audio From Symbolic Music

Phillip Long, Eduardo Escoto, Julian McAuley, Zachary Novack

cs.SD, cs.AI, cs.LG, cs.MM, eess.AS

2026-11-06

把公版乐谱PDMX听感渲染成25.4万首CC BY分轨,合计5469曲时,多轨2734小时超过Slakh2100全库。

这篇在解决什么

源分离和按轨条件合成要的是 stem,混音前按乐器或声部拆开的单条音轨。成品混音好找,能合法再分发的分轨很少,录音版权把商业多轨挡在公开训练集外。

真实感、规模、许可对不齐。录音方面,MUSDB18 为 150 首、10 小时,MedleyDB 两代合计 196 首、13.8 小时,MoisesDB 240 首、14.4 小时,都不能按开放许可下载。合成方面,Slakh2100 有 2,100 首、145 小时,音频是 CC BY,渲染用的商业音源不能再分发。CocoChorales 有 240,000 首、1,411 小时,合成链可再分发,但是生成合唱,不是既有曲目。EnsembleSet 只有 80 首、6.15 小时,仍绑商业音色。公版乐谱 PDMX 规模够,一条 General MIDI 音源硬渲却发干,短采样盖不住管乐和弦乐的延音。

方法

SPDMX 是加州大学圣迭戈分校对 PDMX 做的听感定配方渲染。合成器只留可再分发的 SoundFont,以及 Apache 2.0 的 MIDI-DDSP 权重。先清洗乐谱,再按乐器类定渲染器,最后把配方套到全库。

轨名和程序号经常不一致:名叫小提琴的轨,编号可能是钢琴。按别名改号,丢掉无音符轨。改号只对齐「谱上的乐器」和实际音色,补不了一套通用采样的声学短板,所以配方要靠听来定。

8 名听众为 10 类乐器各听 2 条 10 秒片段,真实感打 0 到 100。试验只负责选配方。basic 是单一音源库 SGM-V2.01。varied 从 FluidR3 GM、GeneralUser GS、Arachno、Airfont 按类抽样,并加一档轻混响,用开源音色拉出差别,避开 Slakh2100 那种专有库。MIDI-DDSP 是训在室内乐数据集 URMP 上的单音神经合成,只替换合格的单音弦乐、铜管、木管;复音和其他乐器退回 FluidSynth。它在 16 kHz 上合成,升到 44.1 kHz 才能和其他轨相加,高频仍然是空的。人声用合唱音色,不做歌词。

均分更高者入选;两套采样接近时留 varied,只为音色种类,不是显著性检验。鼓、管风琴、吉他用 basic;钢琴、人声、Mallet(键盘打击乐)和杂项用 varied;弦乐和铜管用神经合成、basic 兜底;木管同样用神经合成、varied 兜底。

逐轨把响度拉平,MIDI 力度里谁该突出就没了。每轨先朝 −23 LUFS 归一并限峰,再按该轨最大按下力度相对全曲最大力度缩回。求和后只加一个防削波增益,混音等于分轨之和,分离时混合和标签仍是线性关系。

结果

正文里能核对的数字是库容,不是下游分数。全库 253,982 首、490,159 条单声道 FLAC、5,469 曲时,44.1 kHz,协议 CC BY 4.0。每首附 MIDI,曲目编号接回 PDMX。曲时按混音时长每首只计一次,不按分轨条数翻倍。

资源曲目混音小时类型开放下载无专有音源
MUSDB1815010录音否不适用
MedleyDB19613.8录音否不适用
MoisesDB24014.4录音否不适用
Slakh21002,100145合成是否
CocoChorales240,0001,411合成是是
EnsembleSet806.15合成是否
SPDMX 全库253,9825,469合成是是
SPDMX 多轨88,4032,734合成是是

至少两条分轨的有 88,403 首,占曲目 34.8%,占曲时一半,共 2,734 小时。全库平均每首 1.93 条,最多 66 条。单分轨 165,579 首,占 65.2%。多轨这 2,734 小时高于 Slakh2100 全库的 145 小时,也高于 CocoChorales 的 1,411 小时,但多轨曲目数少于它的 240,000。

钢琴占条数 57%,占非静音时长 41%。非静音只累加 0.25 秒窗里 RMS 不低于 0.01(约 −40 dBFS)的部分,所以钢琴轨多、发声短。分离和转录的同预算检查写在项目页,正文只说域内对齐可用,没有误差数字。632 首四件套(贝斯、鼓、吉他、钢琴)供与 Slakh2100 配对,结果也不在正文。

为什么重要

从业者能拿走的是许可干净的规模。音频、MIDI 和发布表都是 CC BY 4.0,渲染不经过封闭的商业采样库,管线可以套到别的符号乐谱上。多轨 2,734 小时,对着 MUSDB18 的 10 小时和 Slakh2100 的 145 小时,监督量不在一个量级。源分离、分轨条件合成、转录,以及符号和波形一起训练,这批数据够用。占曲目 65.2% 的单分轨做不了分离,合成和转录仍然有标签。

听感只在开源音色之间排序,没有对商业插件或工作室分轨做数值对照。

这是渐进改进。用法是大规模合成监督,再在小录音集上适配。

局限与存疑

大约 65% 的曲子只有一条分轨,钢琴又偏多。MIDI 来自刻谱,时间和力度是量化的,听不出演奏起伏。分轨全是单声道。听感只有 8 个人、每类两条,参照物也是合成片段,证明不了全库有多像真录音。MIDI-DDSP 从 16 kHz 升到 44.1 kHz,带宽还是窄的。

分离和转录的结论是域内对齐可用,预算、对照模型和误差都不在正文。人声没有歌词,歌声分离会学到合唱垫音。632 首四件套标成能和 Slakh2100 对齐,比较没有做进正文。公版清掉的是再分发障碍。采样音源加单音神经合成,和带串扰、房间、演奏噪声的流行混音不是同一类数据。

术语

原文与代码

社区讨论

相关论文

全部论文解读