异步流映射语言模型:单次前向生成全部 token 的新范式

kalyan_kpl · x · 2026-11-02

一篇介绍异步流映射语言模型(asynchronous Flow Map Language Models, aFMLMs)的论文提出了将 token 预测顺序引入一步式并行语言建模的新方法。

核心问题:自回归模型和掩码扩散模型都是迭代地填充 token,能跨多个生成步骤利用预测顺序;但如何把这种顺序利用到单步并行生成中,此前并不清楚。

方法:aFMLMs 通过学习异步流的流映射(flow maps),用一个逐 token 的时间调度(tokenwise time schedule)控制各 token 的相对去噪进度,从而为生成过程指定顺序。

结果:模型能把流中编码的顺序内化到模型内部,在单次前向传播中生成了全部 token,兼顾了顺序信息的利用与一步并行生成的效率。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →