Lafa 流语言模型扩到 8B,自推测解码实现 2.54 倍吞吐
Arnav Chavan · hf · 2026-10-21
UC Berkeley、Amazon、KAIST 与 CMU 联合发布 Lafa(Large flow language model),把连续流(flow)语言模型扩展到 8B 参数规模。要点:
- 架构:分块流设计——前缀用因果注意力,块内做双向异步流,可高效适配预训练自回归(AR)模型,并支持前缀缓存与块内并行解码加速推理。
- 训练效率:在 0.5B、7B、8B 三个规模上仅用不到 30B token 完成训练,数据效率超过以往扩散类语言模型。
- 能力:在指令跟随、数学、编码上,学到的流质量持平或超越 AR 基线,还可蒸馏成 flow map 做一步/少步生成;流训练通过多 token 预测效应保留甚至提升预训练 AR 能力。
- 推理加速:利用该效应做单模型自推测解码(self-speculative decoding),在质量相当的情况下达到 AR 模型 2.54 倍吞吐,优于多 token 预测和离散扩散方案。
论文认为连续流可作为语言建模的可扩展基础。代码与模型已开源(github.com/lafa-gh/large-flow-lms)。
「研究」频道最新
- 蚂蚁国际 PAR 方法让 Qwen2.5-0.5B 状态跟踪外推 16 倍长度 — ant-intl · 2026-10-21
- DecisionPivot 基准：4 万条数据揭穿决策模型高分低能 — startlux-models · 2026-10-21
- S-Agent 2.0 用通用编码 Agent 做空间推理，五项基准全面领先 — ropedia-ai · 2026-10-21
- Video-Point Model 用 3D 点轨迹预测学习 4D 世界模型 — Byungwoo Jeon · 2026-10-21
- EvaOmni 基准发布：要求全模态模型给出音视频证据链再推理 — VisionXLab · 2026-10-21
- KAIST 与微软提出 DRLMs：并行草稿修订让扩散模型推理超越自回归 — microsoft · 2026-10-21