ICML论文提出连续离散扩散语言模型
zdhnarsil · x · 2026-07-10
这篇即将在ICML展示的CCDD论文探讨了扩散语言模型（DLM）的新架构。研究表明，连续扩散模型比离散模型更具表达力，甚至能像循环Transformer一样进行潜在推理；但离散模型在可训练性上更具优势。论文通过原则性地结合连续与离散扩散，兼顾了表达力与可训练性，首次将DLM与循环Transformer联系起来，强调了潜在推理和表征学习的重要性。
zdhnarsil · x · 2026-07-10
这篇即将在ICML展示的CCDD论文探讨了扩散语言模型（DLM）的新架构。研究表明，连续扩散模型比离散模型更具表达力，甚至能像循环Transformer一样进行潜在推理；但离散模型在可训练性上更具优势。论文通过原则性地结合连续与离散扩散，兼顾了表达力与可训练性，首次将DLM与循环Transformer联系起来，强调了潜在推理和表征学习的重要性。