UC Berkeley 等推出 Lafa 流语言模型：8B 规模吞吐达 AR 模型 2.54 倍
kalyan_kpl · x · 2026-10-21
论文《Large Flow Language Models》提出 Lafa，一个扩展到 8B 参数的高效连续流语言模型。核心设计：分块流模型，前缀用因果注意力，块内做双向异步流，从而可复用预训练自回归（AR）模型做高效训练，并通过前缀缓存与分块并行解码实现快速推理。
关键结果：
- 在 0.5B、7B、8B 三个规模上仅用不到 30B token 训练
- 流训练通过多 token 预测效应保留甚至提升预训练 AR 能力，配合自推测解码（自验证流草稿）方案
- 同等质量下吞吐量达 AR 模型的 2.54 倍，优于多 token 预测和离散扩散方法
- 可蒸馏到 path map 实现一次或少量生成
- 在指令遵循、数学、代码评测上匹敌或超过 AR 基线
作者来自 UC Berkeley、Amazon、KAIST、CMU，代码与模型已开源（GitHub: lafa-gh/large-flow-lms，Hugging Face: lafa-hf/models），表明连续流可作为语言建模的可扩展基础。
所属事件:Lafa 流语言模型达 8B 规模，吞吐提升 2.5 倍(3 条相关)→
「研究」频道最新
- GDPval 基准被批：随手抽到的种子任务质量就翻车 — vincent_koc · 2026-10-22
- GPT-6-Astra 评测：12 项机器人基准接近饱和，实测仍难落地 — rohanpaul_ai · 2026-10-22
- InceptionV1 神经元「尖vs圆」规则遭实测推翻,可解释性叙述被质疑 — livgorton · 2026-10-22
- 3 个月产出 36 篇预印本，BootLoops 工具链让 AI 跨学科裂变式科研 — DeryaTR_ · 2026-10-22
- Meta 与密州大论文：LLM 推理图质量参差，错误会污染置信度分数 — rohanpaul_ai · 2026-10-22
- 新论文：一价拍卖能否在去中心化市场中高效分配 AI agent 查询 — _onionesque · 2026-10-22