Berkeley 研究:可扩展在线最优传输耦合,让 flow matching 训练更稳
UCBerkeley · hf · 2026-10-15
UC Berkeley(Peter Chen、Sergey Levine)研究解决 flow matching 扩展中的训练稳定性问题。
- 背景:flow matching 的稳定性取决于源样本与数据的配对方式;独立随机配对随机性大,催生了 minibatch 最优传输(OT)在线耦合,但小 batch 收益有限,而每步扩展到大 batch 计算上不可行,且 OT 耦合对完整随机梯度和积分的理论影响此前未解决。
- 贡献:提出可扩展的在线熵正则 OT 近似,支持大幅更大的源-目标耦合;从理论上证明相对独立配对,无正则与熵正则 OT 都严格降低完整随机梯度方差与积分误差,并刻画改进随在线耦合 batch 增大而增强。
- 实验:在单细胞基因插值-flow 与图像-flow 训练上验证,更大的在线耦合持续提升训练稳定性与最终生成质量。
「研究」频道最新
- 腾讯 ARC 发布 Player-1：用合成游戏经验做 agent 后训练 — _akhaliq · 2026-10-15
- 自称花 2000 美元让 AI 攻克图论最长路径难题,未经验证 — Regular_Post9884 · 2026-10-15
- Kornia 团队开源 Rust 版 SLAM：支持单目/立体/IMU 建图 — edgarriba · 2026-10-15
- TRL AsyncGRPO 上线 Tree Packing,同等奖励省 26 倍训练算力 — SergioPaniego · 2026-10-15
- ProbabilityBench：用精确真值概率评测 16 个模型的不确定性校准 — ishidalab · 2026-10-15
- Vela：用样条连续轨迹表示改造 VLA 模型，跨本体泛化操作 — Yifan Li · 2026-10-15