Large Flow Language Models
Arnav Chavan, Chanhyuk Lee, Udbhav Bamba, Jaehoon Yoo, Seunghoon Hong, Aditi Raghunathan, Jinwoo Kim
cs.CL, cs.AI
2026-10-21
Lafa用不到30B token把自回归检查点改成块内异步流，训到8B；7B自投机在相近质量下吞吐达到AR的2.54倍。
自回归模型一次前向只出一个 token。训练可以靠 teacher forcing 并行，生成只能串行。
想少跑几次前向，现在常见三条路。多 token 预测（MTP）在同一个前缀上多猜几个词。离散扩散把 token 遮住，再一轮轮填回来。连续流语言模型把 token 放进向量，从高斯噪声积到干净嵌入。因为状态是连续的，少步采样和 guidance 能直接沿用图像、视频那套。
以前的流语言模型停在小模型、简单任务。往十亿参数上做，训练效率先不够。Lafa 改现成的自回归检查点，用不到 30B token，把规模做到 7B 和 8B，块和块之间还能缓存前缀。
序列按块生成，块间从左到右，块长 B 取 4、8、16 或 32。后一块只看已提交的前缀。前缀键值与块内噪声无关，去噪各步和后续块复用同一缓存。
块内做 flow matching，词嵌入维度为 d。噪声是高斯，终点是干净嵌入。标准流整块共享时间 t。这里每个位置有时间 τ，左边先去噪。τ 不手写，而是该位置去噪损失的归一化逆累积分布，在线估计。难的水平走得慢，样本和积分步就多留在那里。学到的时间表左快右慢。
预测目标是干净 token 的概率。速度用恒等式恢复：指向预测嵌入的方向，乘该位置的时间导数。交叉熵管类别，平方误差管方向。
初始化用预训练自回归模型。0.5B、7B 为 Qwen2.5 Instruct，8B 为 Qwen3 8B Base。adaLN 加时间，初始为恒等。前缀时间为 1，注意力因果且不看噪声块。块内双向，部分干净的后文可以改前文。前缀输出仍预测下一个 token，用来验收。
嵌入只改方向，长度锁死。范数变大会冲淡固定噪声。
三项损失一起训：前缀交叉熵、去噪交叉熵、嵌入平方误差。干净序列和噪声块同一次前向完成。Self-conditioning 复用上一步预测，推理不增加前向。Prefix guidance 每步多算一次没有前缀的块。
Flow map 从时间 s 跳到 t。对角用 KL 对齐老师，非对角对齐两段短跳；前缀上的自回归预测也蒸馏。一步就是从 0 到 1。
自投机从纯噪声一次去噪，起草整块，再由自回归头从左到右留下一致的最长前缀。首 token 不一致就采用自回归结果。输出等于该模型的贪心解码。验收和下一轮草稿在同一前向。
数据用 Dolci-Instruct-SFT，5 到 15 个 epoch，大约 9B 到 27B token。和 Dream、LLaDA、Efficient-DLM 公开的相近规模预算比，至少少 18 倍，对方最多约 500B token。标了 † 的基线，初始化、数据和预算都与 Lafa 对齐后重训。指标是六个任务的宏平均：IFEval、BBH、MMLU-Pro、GPQA、GSM8K、HumanEval。生成上限 1024 token，其中 GSM8K 512，HumanEval 640。
单 token 解码：
| 方法 | 0.5B | 7B | 8B |
| AR SFT† | 28.7 | 58.4 | 56.8 |
| MTP† | 25.9 | 53.9 | — |
| DeepSeek-MTP† | 30.2 | 60.0 | — |
| MARS† | 30.4 | 59.7 | — |
| Dream | — | 55.6 | — |
| LLaDA | — | — | 43.5 |
| Efficient-DLM | — | — | 63.5 |
| Lafa† | 31.6 | 60.9 | 63.1 |
三个尺度都高于配对的 AR SFT，0.5B、7B、8B 分别多 2.9、2.5、6.3 分。8B 的 63.1 和 Efficient-DLM 的 63.5 接近，token 却少一个数量级以上。
流解码本身，Euler 步越多越准。B=4 且步数足够，0.5B 接近 AR SFT，7B 超过 AR SFT。块加大则用准确率换并行。B=4 上蒸馏的 flow map，在一步和两步优于老师；7B 的两步学生接近四步老师，四步时学生更高，八步时持平。步数再增加，学生仍落后。
自投机的输出等于该检查点的贪心解码。分更高，是联合训练把自回归头训好了；TPF 才是每步收下多少 token。
| 设置 | 平均准确率 | 平均 TPF |
| AR SFT 7B | 58.4 | 1.0 |
| Lafa 7B, B=4 | 60.9 | 2.6 |
| Lafa 7B, B=8 | 59.3 | 4.3 |
| Lafa 7B, B=16 | 58.0 | 4.9 |
| AR SFT 8B | 56.8 | 1.0 |
| Lafa 8B, B=4 | 63.1 | 2.9 |
墙钟在单张 H100、batch size 为 1 上测，平均 IFEval、GSM8K 和 HumanEval。Lafa 7B、B=16 的吞吐是 AR SFT 的 2.54 倍，论文称质量接近；B=4 大约两倍吞吐，平均分更高。图上的范围是 2.02 到 2.54 倍。DeepSeek-MTP 和 MARS 质量不低于 AR SFT，吞吐最多 1.4 倍。离散扩散的点落在 AR SFT 下面，越快掉得越多。
0.5B 上 B=8 的 TPF 大约是 DeepSeek-MTP、MARS、PTP 的两倍，平均分也更高。7B 的 B=8 对齐 MARS 在 B=4 的准确率，TPF 约 1.5 倍。
消融是 0.5B、B=4、32 步，同样三项平均。块内双向 38.0，全因果 32.7。异步时间 38.0，同步 36.2。锁范数 38.0，不锁 36.9，冻结 34.4。只做去噪交叉熵 33.6，只做嵌入平方误差 29.7，两项 35.8，加上前缀自回归 38.0。Self-conditioning 从 32.3 到 38.1，prefix guidance 从 34.3 到 38.1。
能用的是自投机，不是尚未对齐质量的少步 flow map。一个模型同时起草和验收，不必另挂草稿网络或 MTP 头。前缀缓存还在。预算停在指令微调：不到 30B token，对照公开的离散扩散适配，最多约 500B。联合训练后自回归平均分上升。
多步流要足够的 Euler 步才对齐 AR SFT。现在的 2.54 倍，生成的是贪心自回归字符串，只是一次前向能交还多个 token。
论文承认：flow map 还落后于步数更多的流，self-conditioning 和 prefix guidance 没能好好蒸馏进去。一步草稿在位置之间不一致。块越大越掉分。用置信度收草稿会再掉分，所以默认是自投机。
2.54 倍测在一张 H100、batch 为 1。批量大、算力打满时投机解码通常没这么赚，这里没有数。输出和贪心解码逐 token 一样。
平均分掩住了任务差。8B 相对自家 Base 加 SFT：IFEval 由 38.1 到 62.3，GSM8K 由 62.9 到 77.8，GPQA 由 29.5 到 31.7，MMLU-Pro 仍是 56.2，BBH 由 71.6 到 70.7，HumanEval 由 82.3 到 79.9。多出的 6.3 分主要在 IFEval 和 GSM8K。7B 的 2.54 倍是 B=16，六项平均 58.0，低于 AR SFT 的 58.4，HumanEval 由 78.7 到 73.8。B=4 平均升到 60.9，HumanEval 仍是 76.8。
8B 没有拿公开发布的 Qwen3 Instruct 当对照，因为继续训它会变差，AR SFT 也是 Base。和 Efficient-DLM 是 63.1 对 63.5，数据不同。正文没有测编辑或填空，连续流宣传的可控性还没验证。块长各自一个检查点。