Separate-and-Detect: Unified Drum Transcription and Stem Generation via Latent Diffusion
Wei-Han Hsu, Chih-Cheng Chang, Bo-Yu Chen, Li Su, Yi-Hsuan Yang
cs.SD
2026-08-02
把鼓转录改成「先拆五条 stem 再识别」,潜在扩散模型在整体 F1 上稳定超过 U-Net 基线,kick/snare 还反超端到端系统,并多给可编辑音轨。
自动鼓点转录(ADT)要把一段完整混音里的鼓声转成符号事件:哪一拍是底鼓、军鼓、嗵鼓、踩镲、镲片。难点在于完整混音里鼓声和主唱、和声乐器、其他声源叠在一起。主流做法是直接从混音端到端预测鼓事件,效率高,但只吐符号,拿不到每种鼓单独的可编辑波形(stem)。
音乐制作里这两件事都要:不只是把鼓记下来,还要能替换、叠加、重混某一条鼓轨,尤其是定义律动骨架的 kick 和 snare。这篇 ISMIR 2026 论文重拾一条老思路,先分离、再识别(separate-and-detect):先把鼓拆成五条可编辑音轨,再对每条轨跑固定的 onset 检测器得到符号事件。这样中间表示是显式的,符号和音轨同时拿到。
整条管线分三段。第一段用一个冻结的 HT-Demucs(通用音乐源分离模型)从完整混音里抽出鼓主导信号。第二段是核心:一个五轨潜在扩散(latent diffusion)分离器,在紧凑的 VAE 潜空间里联合生成 kick、snare、toms、hi-hats、cymbals 五条 stem,条件是混音潜向量加五个可学习的轨道 token;去噪后 VAE 解码出 mel 频谱,再用 HiFi-GAN 声码器还原波形。第三段对每条还原出来的音轨跑固定的 madmom CNN onset 检测器,峰值挑选参数在开发集上用 Optuna 调一次后冻结。
分离器还挂了两个只在训练时起作用、推理时丢弃的辅助分支(合计不到可训练参数的 0.06%)。onset 分支(OB)从解码特征预测粗粒度的逐 stem onset 图,逼模型留住鼓声需要的脉冲能量包络;timbre 分支(TB)用一个 MLP 预测 7 维 DrumGAN 音色描述子(明亮度、硬度、厚度、粗糙度、boominess、温暖度、锐度)。总损失是扩散噪声预测损失加两项加权辅助损失。
训练用合成的 StemGMD(1200+ 小时)加少量真实声学的 IDMT-SMT-Drums(2.1 小时),在两个未见过的真实数据集 MDB Drums、ENST-Drums 上评测。
分离质量上,所有 MSG-LD 变体在 mel 频谱 MSE 和 Fréchet Audio Distance(FAD)上都明显优于 U-Net 基线 LarsNet。LarsNet 的平均 FAD 是 1.42,各 MSG-LD 变体低得多,加 OB+TB 的变体在 kick(0.23)、snare(0.09)、toms(0.13)上拿到最低 FAD。
转录才是重点。用冻结的检测后端,MSG-LD+OB 这条管线在整体 F1 上稳定超过 LarsNet,MDB 上 0.707 对 0.613,ENST 上 0.640 对 0.493(Wilcoxon 检验 p<0.01)。对端到端系统 ADTOF,MSG-LD+OB 在 kick 和 snare 上反超:MDB kick 0.931 对 0.851、snare 0.760 对 0.752。
| 系统 | MDB 整体 F1 | ENST 整体 F1 | MDB kick F1 |
| ADTOF(端到端) | 0.795 | 0.709 | 0.851 |
| LarsNet(U-Net) | 0.613 | 0.493 | 0.899 |
| MSG-LD+OB(本文管线) | 0.707 | 0.640 | 0.931 |
消融显示 +OB 是转录最均衡的配置,两数据集平均整体 F1 最高(0.674);timbre 分支则会牺牲一点频谱重建精度去换分布质量。ADTOF 的整体 F1 仍然最高,因为它在密集 hi-hat、cymbal 这类宽带纹理上更强,而分离式方法在这里还吃力。
对做音频、音乐信息检索(MIR)和音乐工具的人来说,卖点不是又一个刷点的转录模型,而是「生成式分离」可以当转录的前端,顺手把直接预测系统给不了的 editable stem 也交出来。kick 和 snare 是律动的根,这两个反超端到端系统,意味着分离式路线在最关键的鼓件上已经站得住。
作者列得很清楚。16 kHz 采样率省算力,但丢了高频内容,hi-hat 和 cymbal 受影响;扩散采样慢,在 RTX 6000 Ada 上生成 10 秒样本大约要 25 秒,远慢于 ADTOF 那种单次前向。密集宽带纹理(cymbal、hi-hat)仍是瓶颈,hi-hat 和 cymbal 之间存在类间混淆,VAE 潜空间压缩也是限制。
另有存疑:训练主力是合成的 StemGMD,真实声学数据只有 2.1 小时,跨到真实录音的泛化深度有限;论文也不报 SDR/SI-SDR 这类波形域分离指标(理由是会和声码器重建、相位纠缠),所以分离质量的绝对水平缺少一个通行标尺可比。