TTCD：带token时间的扩散语言模型

UTEXAS · hf · 2026-07-18

这篇论文提出 **Token Time Continuous Diffusion（TTCD）**，一种新的扩散式语言模型。 核心点有两条： - **连续空间建模**：模型把高斯噪声确定性映射到最终 token canvas，不再依赖离散空间里的多步并行采样，从而缓解高速生成时的准确性下降。 - **token time 概念**：不同 token 可以以不同速度从噪声收敛到最终 token，便于更好地建模条件生成，也让 token 之间在 refinement 阶段具有差异化影响。 实验结果显示，TTCD 在高速度设定下优于离散模型： - 在无条件生成上，和同规模、同数据、同样做 self-distill 的已有模型接近； - 在条件生成上表现更好； - 在 Sudoku 求解任务上也有类似收益。 训练配置包括： - **160M 参数** - 训练数据：**OpenWebText** - 之后进行了 **self-distillation**

原文链接 →