指数残差流:离散扩散模型首次获得ODE确定性采样器
_onionesque · x · 2026-10-31
arXiv 新论文(2026-10-29)提出指数残差流(ERF),为离散扩散模型补上类似连续扩散「概率流 ODE」的确定性采样框架:
- 核心思路:为每个 token 的每个位置引入一个连续残差变量,残差按分段定义的 ODE 确定性演化,其向量场依赖当前离散状态及扩散模型的前后向速率矩阵;残差归零时离散状态发生跳变。
- 理论结果:证明该构造严格保持原扩散过程的边缘分布。
- 实践价值:给出了可用的离散化采样器,并专门适配 masked 与 uniform 两类离散扩散;确定性轨迹可直接支持一致性蒸馏(consistency distillation)以加速采样。
- 实验上在代码与文本生成等多项基准上优于此前方法。
作者来自 Ecole Polytechnique、MBZUAI 等机构,包括 Eric P. Xing、Alain Durmus 等。
「研究」频道最新
- 清华团队开源 Falcon：看嘴型定向提人声，参数省 91.9%、延迟降 11 倍 — aigclink · 2026-10-31
- 单神经元实验：模型会为被「植入」的联想词编造理由 — Sauers_ · 2026-10-31
- GOFish：鱼眼直训 3DGS 超越 180° 视场并可提取碰撞网格 — janusch_patas · 2026-10-31
- 免训练知识迁移:Artifact Distillation 让小模型借题库反超中模型 — kalyan_kpl · 2026-10-31
- AI 自动审稿时代来临：90% 研究太模糊以至于无法证伪 — RexDouglass · 2026-10-31
- Anima Anandkumar 团队推出 eSpinor：SU(2) 等变网络预测磁性 — AnimaAnandkumar · 2026-10-31