Flow Matching Guide and Code
Yaron Lipman, Marton Havasi, Peter Holderrieth, Neta Shaul, Matt Le, Brian Karrer, Ricky T. Q. Chen, David Lopez-Paz, Heli Ben-Hamu, Itai Gat
cs.LG
2024-12-09
支撑 Stable Diffusion 3、Movie Gen、Voicebox 的 Flow Matching 框架,其提出团队发布自洽的官方指南与 flow_matching 代码库,把从欧氏空间到流形、离散状态、跳变过程的各类生成模型统一进同一套训练配方。
Flow Matching(FM)是 2022 年由 Yaron Lipman 等人在 FAIR 提出的生成式建模框架,现在已经是图像、视频、语音、蛋白质生成的事实底座,Stable Diffusion 3、Meta 的 Movie Gen 和 Voicebox 都建在它上面。但它一直缺一份能让新人快速上手的权威材料:原始论文极简,后续扩展(Riemannian FM、Discrete FM、Generator Matching)散落在各处,概念名词又不统一。这份指南和配套的 flowmatching 代码库就是来填这个空缺的,作者团队正是 FM 的原始提出者。
FM 的核心是学一个速度场(velocity field,一个随时间变化的向量场),它定义了一条流(flow),也就是一个由常微分方程(ODE)确定的、确定性的可逆变换。目标是把一个已知分布(通常是高斯噪声)沿着这条流搬成数据分布。
整套配方只有两步:
真正让它好用的是一个叫 marginalization trick(边缘化技巧)的设计。直接去拟合把两个高维分布整体变换过去的「边缘速度」是不可行的,但条件在每个数据点上的条件速度却有简单的闭式解,线性路径下就是 (x1−x)/(1−t)。于是训练目标退化成对每个样本回归它的条件速度,整个过程 simulation-free,训练时不必解 ODE。
指南接着把这套配方一路推广:到黎曼流形上(Riemannian Flow Matching,蛋白质折叠、分子生成的 SOTA)、到离散状态空间的连续时间马尔可夫链上(Discrete Flow Matching,给语言建模用),最后用 Generator Matching 把流、扩散、跳变过程、离散链统一进一个框架。无论哪种模态,配方都是同一个「选路径、训练生成元」。
这是一份综述加工具,没有新的刷榜数字,价值在统一和可复现。它附带 PyTorch 的 flowmatching 库(GitHub: facebookresearch/flowmatching),含图像和文本生成的示例。指南明确把 Diffusion Models 归为 FM 家族的一个特例:扩散模型用前向加噪的 SDE 构造路径、去拟合 score function,而 FM 给的是更一般的选择空间。
论文未给出与扩散模型的逐项 benchmark 对照。它的主张是概念层面的统一,不是「FM 比 diffusion 快多少」这种量化比较。
对从业者,这份指南是进入 FM 的最短路径。如果团队要做图像、视频、语音、蛋白质生成或机器人策略(π0 等也用 FM),这里既有完整的数学推导,又有能跑的代码。把扩散看作 FM 的特例这一点尤其有用:它让「为什么 rectified flow 更直、为什么 OT 路径更快」这类问题有了一致的解释框架,而不是每个模型各说一套。
这是综述而非方法创新,指望新 SOTA 的人会失望。离散 FM 用于语言建模还很新,指南承认这条线仍在早期。路径耦合(coupling)的选择、超大规模下的稳定性等开放问题指南里点到为止,没给定论。另外作者团队即框架提出者,立场天然偏向 FM,文中对扩散模型的「特例」定位带有一定话语权主张,读者自有权衡。