Adobe 用 46 万合成数据训出音效指令编辑模型,遵循度达 SOTA

FoleyForge: Free-form, Controllable, Rectified-flow Editing of Sound Effects

Giovana Morais, Hugo Flores García, Prem Seetharaman, Johannes Imort, Justin Salamon, Magdalena Fuentes, Oriol Nieto

cs.SD, cs.AI

2026-11-06

Adobe 用音频大模型合成 46.4 万条编辑数据微调出 FoleyForge,一句话编辑音效,指令遵循在两个测试集领先 SAO-Instruct 等全部基线。

这篇在解决什么

文生音频的质量已经够好,但音效师不是这样干活的。影视和游戏的声音设计是逐条素材反复打磨,对着画面和导演意见一轮轮改,「把狗叫弄闷点」「让这一拳更重」。现有模型只有一条路:改提示词从头重生成,设计师已调好的时值、音色和与画面的同步全部作废。

图像领域早有 InstructPix2Pix 这类只改局部、不动其余画面的指令编辑器,音频接近空白。指令编辑的最强系统 SAO-Instruct 改动保守;免训练的 SDEdit 照指令重新生成,输出和输入绑得不紧;EchoEdit+ 极端忠实却几乎不改,变化常小到听不出来。底层还有数据问题:监督式编辑需要「输入-输出-指令」三元组,公开的音效编辑数据集一个都没有。Adobe 和 NYU 的 FoleyForge 同时打这两层。

方法

数据管线。 音频大模型 Qwen3-Omni(Captioner 版)当编辑作者,造出 46.4 万条三元组:

模型。 底座是 Sketch2Sound 的 rectified-flow 版本,只微调 transformer,文本和音频编码器冻结。源音频编码成干净 latent 后,作为变长 token 前缀拼在噪声输出序列前,靠 self-attention 互相看到,算 loss 时切掉。输出因此不受源音频时长和时间网格的约束,加混响拖长尾音也不用重采样对齐;SAO-Instruct 把源 latent 拼进输入通道,输入输出锁在同一时间网格上,改动幅度跟着受限。推理用 SDEdit 式初始化,从中间噪声时刻去噪,起始噪声强度就是编辑自由度;CFG 推理时源前缀永远在线、从不置零,充当身份锚点。

细粒度控制。 每个控制轴训练时配 dropout,学出自己的「无条件方向」,推理时即可被 CFG 单独放大。响度是输入输出的 LUFS 差;编辑强度是响度归一化后的多尺度 log-mel L1 距离,与响度轴正交;能量包络取中值滤波的 RMS 曲线,训练取自目标、推理取自输入,guidance 强度决定跟得多紧;SILA 短语把编辑强度量化成「轻微/适中/明显/剧烈」拼在指令后,自然语言也能调幅度。

结果

Subtle Set 100 条,有人工审核的参照编辑,DSP 与生成编辑各半;Creative Set 90 条,无参照,指令对全部模型分布外。遵循度由 Qwen(主评)和 Gemini 3.7 Flash 两个大模型 judge 按 1-5 打分:

方法Qwen 遵循 SubtleQwen 遵循 Creative忠实度 Creative音质 PQ Subtle
参照编辑3.28––6.77
SAO-Instruct2.942.690.8316.71
SDEdit3.283.340.4436.58
EchoEdit+2.522.310.8956.85
FoleyForge3.343.440.6026.47
FoleyForge+2.362.470.8896.96

基线各自卡死在忠实度-遵循度权衡的一个角上,FoleyForge 一族把整条曲线走完了。

为什么重要

一个模型覆盖设计师实际混用的三类改动:DSP 式、语义、风格,此前这三类分属插件和重生成两条路。数据配方可能比模型更有参考价值:让音频大模型写可验证的 DSP 指令,加受限的语义变换,零公开数据的领域也能造出 46 万条监督样本,这套思路可以平移到其他编辑任务。也要说清,rectified flow、SDEdit、CFG、控制信号全是已知部件,贡献在数据管线、长度灵活的源注入,以及把基线们各自卡死的权衡点变成用户手里的旋钮。

局限与存疑

论文自认三条:Subtle Set 出自与训练数据同一套管线,对自己模型是分布内测试;主 judge Qwen 同时是训练指令的作者,Gemini 复核却在 Subtle 集把 SAO-Instruct 排第一(4.58 对 4.27),该集因版权限制没做听测,分歧留给后续工作;基础版音质在全部系统里垫底(PQ 6.47 对参照 6.77,FAD 0.406 对 0.340)。

读下来另有保留:Creative 集的输入音频由 Sketch2Sound 生成,对自家模型是分布内音频,大胜 SAO-Instruct 有主场成分;训练语料内部授权,论文未承诺开放代码或权重;曲线两端是两个配置而非一个,高忠实的 FoleyForge+ 遵循度全场最差;只支持单源音效,真实声音设计是分层多源,离生产流程还有一步。

术语

原文与代码

社区讨论

相关论文

全部论文解读