SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model
Aviad Dahan, Rajaei Khatib, Yonatan Bitton, Idan Szpektor, Lior Wolf, Raja Giryes
cs.SD, cs.CV
2026-10-08
SepGen 在冻结的 LTX-2.5 上训练 327M 音频 LoRA，一次采样同时给出视频、混音和两条文字指定的分轨。生成对话词错率 0.07，级联分离在 0.81 以上。
联合音视频模型能对上画面交一条声轨。LTX-2、Ovi、Veo 3.1 Lite 交出来的都是整段混音，声源拆不开，不能单独挪走或拉近。
单目视频抬成可换视角的 4D 再渲染时，每个声源得有自己的波形，才能放进场景、传到听者。混音没有这个接口，声音钉在原机位。
事后按文字做分离，每个描述单独跑一遍。两个男声同时在场，两次查询可能都交回更响的那个。分轨得一起预测，身份才不会撞。
骨干是冻结的 LTX-2.5 22B，做 flow matching，用速度场把噪声推回数据。视频和音频各走一条 Transformer 流。只训音频 LoRA，秩 128，327M 参数，单张 A6000，骨干 int8。分离 12,000 步，生成再续 3,000 步。
三条等长通道放两条 stem（单源波形）和混音，时间格与旋转位置对齐。分轨互看，也看混音；混音只看自己，并且不走 LoRA。视频和混音不读分轨。同一输入把适配器开关各跑一遍，混音和视频逐层逐比特相同，这层适配器不改写原来的画面和声轨。
每条分轨只读自己的描述。跨分轨注意力引导取 λ=2，正分支是自己的文字，负分支是另一条的文字，两边都像的声音从错误的轨上推开。
数据共 4,843 条双源：CelebV-HQ 说话人对 1,658，URMP 双乐器 1,437，自生成 749，VGGSound 与 MUSIC-21 拼接 999。描述分三档详略，随机抽一档。损失只打分轨速度，视频和混音作条件。
第一阶段混音永远干净，分轨学习拆开它。第二阶段三成样本仍干净，用来保住分离；其余给混音加噪，但不超过分轨的噪声。生成时会碰到的两种情况都在里面：混音还和分轨一样吵，或者已经估计出一份干净混音。
分离把视频和混音锁在零噪声，只去噪分轨。生成时三路一起去噪。噪声高于 0.97，分轨看带噪混音；更低则看当前速度反推的干净估计。全程盯着没定型的混音，会写出最终混音里没有的声音。
生成集 194 条，声音 134、对话 60。SepGen 一次采样出视频、混音和两条分轨，级联基线再分离同一段混音。没有参考波形。Judge 从 1 到 5。CLAP（文字和音频的对比相似度）对原样提交的混音也会给分，J-swap 会落到 0，所以主看自己的描述分减去另一条描述的分。语音是对本人台词的词错率，说话人余弦越低越不像同一人。
| 方法 | Judge↑ | J-swap↑ | 词错率↓ | 说话人余弦↓ |
| FlowSep | 3.35 | 1.26 | 1.03 | 0.97 |
| AudioSep | 3.23 | 1.27 | 0.91 | 0.87 |
| SAM Audio large | 2.93 | 0.42 | 0.81 | 0.95 |
| SepGen 联合采样 | 3.82 | 2.07 | 0.07 | 0.66 |
| SepGen 再分离 | 4.21 | 2.29 | 0.10 | 0.67 |
和 FlowSep、AudioSep 的 CLAP 差距不显著，后者的查询编码器就是这个 CLAP。拉开的是 J-swap。一起采样，每条轨绑自己的描述；单独查询可以把同一个源交两次。只训分离的检查点拿去生成，J-swap 1.95、词错率 0.10、种子标准差 0.13；续训后为 2.07、0.07、0.01。再分离一遍，声音分更高，词错率 0.10，与联合采样的 0.07 同在种子波动内。
Veo 3.1 Lite 的 149 段，分离检查点 Judge 4.36、J-swap 2.61，AudioSep 为 3.46 和 1.60。留着台词，词错率 0.05，级联 0.74 到 0.98。删掉台词，SepGen 0.50，级联 0.73 到 1.03。90 条里 4 到 5 条静音，说话人余弦下降，有一部分是静音造成的。八候选按 Judge 与 CLAP 重排后，SepGen 的 Judge 为 4.49，对 SAM Audio 的 4.10 和 4.15，词错率 0.05 对约 0.55。
172 段真实录音上，Judge 与 SAM Audio 同源。SepGen 3.70，SAM large-tv 3.12，J-swap 1.42 对 0.78。用榜单原文时，后者升到 3.32，仍低。
听评可打平。对八候选的 SAM Audio，48 人给出 0.58 对 0.25；真实录音 0.64 对 0.20，Veo 0.51 对 0.30。对 AudioSep，51 人给出生成 0.63 对 0.28；对话 0.87 对 0.10，声音 0.49 对 0.38。
129 段有参考波形：包络相关 0.82，对数谱距离 6.3 dB，AudioSep 为 0.76 和 11.0。57 段对话词错率 0.05，与真分轨相同，最强级联 0.29。静音混音使 Judge 落到 1.10；换入别的混音后，转写跟着捐赠台词，捐赠侧 0.41，原台词 1.16。描述分开采样，Judge 从 3.82 掉到 2.27。拿掉视频，分离分无显著变化。时间轴改成前后拼接再训，词错率增至三倍以上。
要给现成音视频模型加上每源一条波形，不必重训 22B，也不必再串分离器。327M 参数单卡可训，混音通道受保护，原画面和声轨不动。一套权重：混音干净就分离，一起去噪就生成。
差距在对话。声音听评 0.49 对 0.38，测得到，并不悬殊。换机位的双耳声仍要下游来做，交出来的波形还带着原来的混响。
只有两个声源。同一乐器且描述相同，对数谱距离从 6.3 dB 升到 11.7 dB，排列不变仍为 11.4 dB，文字指定不了怎么切。
解码器重写相位，包络和频谱留着，SI-SDR 主要在测相位。分轨带着原场景的混响和距离，不能当干声送去新机位。
新视角空间声是示意图，没有定位误差，也没接上渲染器。分离分在无关画面上几乎不动，这些数字不靠看见声源。
主榜大多没有参考分轨。听评只有 10 段。Veo 上按声源多数票赢 3 输 4，判断份额却是 0.51 对 0.30。声音听评的 95% 区间互相重叠。台词在描述里时词错率 0.05，删掉就到 0.50。SepFormer 要等台词消失，才和分离检查点打平。对话领先，有一部分是因为描述里写好了句子。