Lafa 论文:把预训练 LLM 改造成流模型,7B 推理提速 2.54 倍
KyeGomezB · x · 2026-10-28
UC Berkeley、Amazon、KAIST、CMU 联合论文《Large Flow Language Models》提出 Lafa,将预训练自回归 LLM 转换为连续流语言模型,通过逐步去噪 embedding 实现多 token 并行生成。
- 核心设计:分块流模型,前缀用因果注意力、块内用双向异步流;支持 prefix caching 与块级并行解码,可直接适配预训练 AR 模型(AR)。
- 并行解码方案:流模型的并行预测作为草稿,再用同一模型的原始 next-token 预测能力做自回归验证(self-speculative decoding)。
- 数据效率:以不到 30B token 训练到 8B 规模,比以往扩散语言模型更省数据。
- 结果:7B 版本吞吐达可比 AR 模型的 2.02–2.54 倍,质量相当或更好,超过 MTP 与离散扩散方法;7B 流训练还能匹配甚至超过对应 AR SFT 模型(Qwen2.5 7B)的质量,并可蒸馏出 one-/few-step 生成。
代码与模型已开源(github.com/lafa-gh/large-flow-lms,huggingface.co/lafa-hf/models)。
「模型」频道最新
- 同一开发者补刀:GPT-5.6 terra 若降价 80% 而非 20% 可能成爆款 — JoshPurtell · 2026-10-28
- 开发者质问 OpenAI:GPT-5.6 mini/nano 先涨价又只给 luna 降价,terra 为何不降 — JoshPurtell · 2026-10-28
- X 推出整合订阅：30 美元打包 Grok、Cursor 与 X Premium — nima_owji · 2026-10-28
- Liquid AI LFM3 用 24 层混合架构实现 256K 上下文，推理快 25% — cneuralnetwork · 2026-10-28
- 开发者列出最期待的两款模型：GLM 5.5 Flash 与 Qwen 4 27B — victormustar · 2026-10-28
- Maxime Labonne 演示 d1 模型：一次前向同时问答并框出指定物体 — maximelabonne · 2026-10-28