连续语言模型综述发布，Papers with Code 已收录 151 篇论文

_akhaliq · x · 2026-11-10

一篇关于连续扩散与流语言模型（Continuous Diffusion and Flow Language Models）的新综述发布，作者 @sophiatang 与 David Lee 等合作完成。Niels Rogge 已在 Papers with Code 上新增 "Continuous Language Model" 方法页，方便追踪综述涉及的全部论文。

该类模型的思路是：不再逐 token 预测或直接对离散 token 加噪，而是把噪声转化为 token 的连续表示（词嵌入、单纯形/one-hot 向量、比特或自编码器 latent），再用 Gaussian 扩散或 Flow Matching 训练；确定性轨迹使其支持少步蒸馏与基于梯度的引导。方法页目前已收录 151 篇论文，近 90 天就有 43 篇，覆盖预训练、少步生成、guidance、scaling 等方向，作者提到 2026 年该方向已从「难训好」跃升为热门赛道。