Flow Map 语言模型:连续流一步生成,质量超 8 步离散扩散

alec_helbling · x · 2026-09-18

论文《Flow Map Language Models: One-step Language Modeling via Continuous Denoising》提出用连续流模型做语言生成的新路线:把词表表示为 one-hot 向量,在连续空间学习流,再在单纯形顶点解码。关键发现:该连续形式存在唯一可学的 flow map,可直接蒸馏实现少步推理,这是离散扩散不具备的结构。作者构建 FLM,在 LM1B 和 OpenWebText 上追平最先进离散扩散基线;蒸馏出的 FMLM 一步生成质量超过近期离散扩散模型 8 步的水平。流与 flow map 均可用尊重单纯形几何的交叉熵目标学习,并对比了三种 flow map 蒸馏方案。