离散扩散也有概率流:ERF 采样器支持一致性蒸馏加速生成
ArnaudDoucet1 · x · 2026-11-04
arXiv 新论文《An ODE-based Sampler for Discrete Diffusion Models》(Gourevitch、Janati、Moulines、Eric Xing 等)回答了「连续扩散的概率流 ODE 在离散扩散中是否存在类似物」——答案是肯定的。
- 提出指数残差流(ERF):为每个 token/位置引入连续残差变量,残差按分段 ODE 确定性演化,向量场依赖当前离散状态及扩散模型的前后速率矩阵;残差归零时离散状态改变。
- 证明该构造严格保持原扩散的边缘分布。
- 给出实用离散化方案,并针对 masked diffusion(MDM)与 uniform diffusion(UDM)分别特化实现。
- 确定性轨迹天然支持一致性蒸馏(consistency distillation),在代码与文本生成等多类基准上优于此前方法。
这是连接离散扩散与加速采样/蒸馏的一条理论化路径,作者称该方向还有很大推进空间。
「研究」频道最新
- 未来 agent 将自治操作自身权重与记忆，但缺协调策略研究 — sarahcat21 · 2026-11-04
- 手写 10 万参数模型权重识别假法律引用，效果超训练 — AaronBergman18 · 2026-11-04
- 梯度封印防遗忘学习失效：让开源模型发布后也难被微调出危险能力 — burkov · 2026-11-04
- 新方法从零分模型预测基准成绩:算力省 5600 倍,误差 3 分内 — kenziyuliu · 2026-11-04
- 团队 2 天半烧 100 亿 token 打造全城级世界模型 Omniscience — Kuprel · 2026-11-04
- 伯克利团队提出 Data Inoculation：用 RL 在采数据时就提升质量 — berkeley_ai · 2026-11-04