Simplex Diffusion Models 问世:概率单纯形上的离散扩散可保留不确定性
ArnaudDoucet1 · x · 2026-09-30
Valentin De Bortoli、Arnaud Doucet 等人发布论文《Simplex Diffusion Models》(SDMs),针对离散扩散模型在中间步骤通过 categorical sampling 丢弃不确定性导致的信息坍缩问题,提出将扩散过程提升到概率单纯形上表示对类别的信念。
- 逆向转移有闭式解,可用简单交叉熵损失训练
- 无需像 Dirichlet Flow Matching 那样积分 ODE,还引入类 DDIM 采样器,随机性可调
- 因在单纯形上携带不确定性跨去噪步骤传播,缓解信息坍缩
实验结果:
- OpenWebText 上 64 步达到 17.0 GenPPL(unigram entropy 5.46),接近真实验证数据
- 代码生成(TinyGSM, T=0.1)49.0% vs 离散扩散 45.8%,且无需 Self-Conditioning
- 蒸馏到 8 步在 GSM8K 上解出 32.1%,超过 128 步的蒸馏离散扩散模型(21.4%)
所属事件:Simplex Diffusion 模型问世，化解离散扩散信息坍缩难题(2 条相关)→
「研究」频道最新
- ECMWF AI 次季节预报年度比拼，小团队模型夺冠 — LesterMackey · 2026-09-30
- 研究者质疑:ML 会议审稿正沦为 LLM 打分,送审还有何意义 — aran_nayebi · 2026-09-30
- 研究揭示 LLM 通病:过度自信且忽视细节,偏好学习可解 — qi2peng2 · 2026-09-30
- HCOMP 2026 荣誉提名论文：AI 可信度指标的贝叶斯级联分析 — windx0303 · 2026-09-30
- COLM 2026 主题面板 10 月 7 日举行，谈 LLM 数学与科学前沿 — yuqirose · 2026-09-30
- 微软实习项目：让计算机使用 agent 在激励错位环境下更鲁棒 — ZacharyHuang12 · 2026-09-30