Hierarchical Continuous Diffusion Language Models
Hui Ren, Zihan Li, Chang Liu, Huidong Liu, Alexander Schwing
cs.CL, cs.AI, cs.LG
2026-10-02
让 token 每步从连续潜变量读出并反馈为去噪条件,数独难题 72.4%、LM1B 生成困惑度 75.5,超离散与连续扩散两类基线。
自回归模型从左到右逐 token 生成,遇到全局约束密集的任务就别扭:数独里一格填错,整题作废。离散扩散语言模型(masked diffusion 一类)提供了替代,对全部 token 的联合分布建模,能双向多轮修正、并行解码。但并行解码有个结构性缺陷:同一步解出的多个 token,各自从自己的边缘分布独立采样,联合分布被近似成边缘分布的乘积。一起解出的 token 互相不通气,恰好在强耦合处(行列宫约束、算术链)出错。
连续扩散语言模型反过来,所有并行 token 共享一个被去噪的连续状态,依赖问题没有了。可它的去噪器全程只看连续状态,目标函数里没有一项监督 token,直到最后一步才解码,中间过程不保证贴着合法 token 配置走。
两个缺陷正好互补:并行 token 需要共享状态,连续状态需要离散锚点。UIUC 与 Amazon 的 HC-DLM 把这个互补做成了一个生成模型。
核心设计一句话:连续潜变量是唯一跨步持久的生成状态,token 只是每步的读出结果。
训练时,一个 bidirectional Transformer 编码器把干净 token 序列映射成连续潜变量 x0,随后两条前向链独立加噪:潜变量走高斯扩散,token 走离散扩散核。前向独立,两个边缘分布都有闭式解。反向生成每步做三件事:
关键在依赖结构:token 状态没有自己的转移链,跨步信息全部走潜变量这条通道;每个位置每步重新读出,生成结束前都可修正,数独里早期填错的格子后面还能翻案。这也是它与 CADD、CCDD 等混合模型的分界,那些方法里离散链自成一系。
训练目标有出处:对两级轨迹上的 token 似然推变分下界(ELBO),展开成重建项(干净潜变量解码回 token)、编码器熵正则、连续去噪项三块,去噪项用 flow matching 实现。数独和 Countdown 实验里,整条连续通道只压成 1 个潜 token。
一个反直觉的默认选择:离散核用 uniform,不用主流的 absorbing/mask。理由有二:mask 是信息空洞,拿它当去噪条件等于让 scaffold 缺料;absorbing 的自适应解码顺序逐个冻结承诺,与「每步全部可修正」的设计冲突。消融里,这个选择在数独难题上值约 24 个百分点(72.41 对 48.25)。
三个任务,规模控制在 6M(结构化任务)与 118M(LM1B,采样时参数,不含 embedding)。
数独(81 格全对才算对):
| 方法 | 参数量 | Easy | Hard |
| ARM(带排序启发) | 42M | 87.18 | 32.57 |
| MDM(top-prob. margin) | 6M | 89.49 | 49.88 |
| CCDD(混合基线) | 6M | 94.65 | 70.73 |
| HC-DLM | 6M | 94.21 | 72.41 |
Easy 上 CCDD 略高;Hard 集(解法需要训练集七种策略之外的路子)HC-DLM 领先,对离散扩散 MDM 的优势是 22.5 个百分点。
Countdown(整条算术链有效才算对):CD4 84.41%、CD5 37.52%,均超同规模混合基线 CCDD(81.18/25.35),更长的 CD5 差距拉到 12 个点。整体最好成绩仍属 85M 的 RDM(87.0/45.8),13B LLaMA 只有 51.1/7.4。
LM1B 无条件生成(GPT-2-Large 评生成困惑度,128 步采样):
| 方法 | 参数量 | Gen. PPL |
| Transformer(自回归) | 108M | 66.7 |
| Plaid(连续) | 109M | 77.3 |
| LangFlow(连续) | 117M | 92.2 |
| MDM(离散) | 116M | 103.9 |
| HC-DLM | 118M | 75.5 |
扩散阵营里最好,仍落后自回归 Transformer 约 9 个点,离真实文本的 40.4 更远。
消融把「两层缺一不可」坐实:去掉 token 条件只剩潜变量扩散(Latent DM),Hard 从 72.41 掉到 24.74;只剩离散链就是 MDM 的 49.88。沿生成轨迹解码中间潜变量,正确率早期就爬升,不用等最后一步成型;采样步数砍到四分之一,HC-DLM 的降幅也明显小于 MDM。
并行解码的 token 依赖是扩散语言模型公认的痛点,已有多项工作在解码端打补丁(依赖引导、attention 修正)。HC-DLM 改的是生成模型本身:token 读出与反馈是模型变量、出现在似然界里,不依赖特定解码技巧。对做约束满足、规划、结构化输出的人,这是条可跟的路线。成本也可控:推理丢弃编码器后,100 步每 batch 约 2.3 秒,低于同规模 MDM 实现的 3.3 秒;LM1B 训练在单张 RTX PRO 6000 上约 48 小时(LangFlow 论文报告其基线重训约 292 小时,硬件不同,仅作量级参考)。
位置也要看清:语言建模仍输自回归,结构化任务赢的是同量级对手。这是一次框架验证,谈不上替代。
论文自己承认的:三个模块联合训练,单步开销高于纯离散扩散;实验停在学术算力规模,上大模型留待未来。
读下来还有几处要留意。LM1B 只测无条件生成、长度 128,没有条件任务;118M 是采样时参数,训练时含编码器约 200.5M,「同规模对比」只对推理成立。75.5 的头部数字依赖 token 通道的 classifier-free guidance(w=2.75),无引导的数字正文没给。LM1B 训练分两阶段,第二阶段冻结编码器和 token 预测器只训去噪器,与联合变分的故事有出入。CCDD 基线是作者自己换 backbone 复现的。评测用 GPT-2-Large 生成困惑度而非验证集似然,作者解释 flow 模型做似然评估需要额外训练,代价是没有标准困惑度可比。数独 Easy 上 CCDD(94.65)仍略高于 HC-DLM(94.21),优势只在分布外。