Lafa 论文:流模型改自回归权重扩到 8B,吞吐达 AR 2.54 倍
burny_tech · x · 2026-10-26
Lafa:连续流语言模型首次扩到 80 亿参数
UC Berkeley、Amazon、KAIST、CMU 等机构的研究者提出 Lafa(Large flow language model),证明连续流模型可以规模化到 8B 参数,而不必从头训练大型扩散模型。
关键做法
- 块状(blockwise)流模型:前缀用因果注意力,块内做双向、异步流,实现与自回归(AR)模型的快速适配
- 只用不到 30B token 就把预训练 AR 模型(0.5B-8B)改造成流模型,训练效率高于以往的扩散语言模型
- 流训练通过多 token 预测效应保留甚至增强原 AR 能力,并据此提出自投机(self-speculative)解码方案
结果
- 指令跟随、数学、推理、代码基准上与 AR 微调持平或更好
- 同等质量下吞吐达 AR 模型的 2.54 倍,超过多 token 预测和离散扩散方法
- 支持前缀缓存与块级并行解码的快速推理;代码与模型已开源(GitHub/Hugging Face)
结论:连续流模型可以作为语言建模的可扩展基础,为生产级 agent 的高吞吐推理提供后训练加速路径。
所属事件:Lafa 连续流语言模型扩至 80 亿参数，吞吐达自回归 2.54 倍(2 条相关)→
「研究」频道最新
- LessWrong 长文论证：计算逻辑反事实难题让 FDT 难以成立 — jessi_cata · 2026-10-26
- 学者纠错：别再误用苦涩教训论证暴力模拟将解决生物学 — anshulkundaje · 2026-10-26
- Chain Theory：用 AI 从量子信息重建基础物理,找到无参数精细结构常数候选式 — skdh · 2026-10-26
- 港浙复三校联手 Lightspeed 推 HiSTEVE：VLA 智能体键鼠操控玩转 Minecraft — tencent · 2026-10-26
- 索尼团队用 Flow Matching 做四轨立体声音乐分离，系统评测生成式 MSS — Shuyang Cui · 2026-10-26
- 浙大联手腾讯推 Easy-3Dfy：单图 3D 场景重建，物体生成与布局解耦 — Ziang Zhang · 2026-10-26