Lafa 流语言模型达 8B:吞吐量达自回归模型 2.54 倍
LucaAmb · x · 2026-10-24
论文《Large Flow Language Models》(arXiv:2610.28559) 提出 Lafa,一种扩展到 8B 参数的连续流语言模型,证明连续流可作为语言建模的可扩展基础。
核心设计
- 分块(blockwise)流模型:前缀用因果注意力,块内用双向异步流
- 可从预训练自回归(AR)模型适配训练,推理支持前缀缓存与分块并行解码
关键结果
- 以少于 30B token 训练 0.5B / 7B / 8B 三种规模,数据效率高于以往扩散模型
- 在指令跟随、推理、代码任务上与 AR 模型持平或更优
- 流训练通过多 token 预测效应保留甚至提升预训练 AR 能力,可据此做单模型自投机解码
- 相当质量下吞吐量达 AR 模型的 2.54 倍,超过多 token 预测与离散扩散方法
代码与 0.5B/7B/8B checkpoints 已在 GitHub 和 Hugging Face 开源。
「Infra」频道最新
- GPU 工程师闲聊「海森 bug」：tmem/MMA 路径偶发丢失高位 — sloppenheimer · 2026-10-24
- 前富达基金经理：除非救助，CoreWeave 一文不值，AI 是页岩油2.0 — SumitGup · 2026-10-24
- Kimi K3.1 Pro 发布：2.8T 参数超 Fable 5.1，开源权重缩小差距至 1 个月 — Latent Space · 2026-10-24
- Naveen Rao：推理将是 10 万亿美元市场，机器人比编码 Agent 大 100 倍 — 20VC · 2026-10-24
- AI 服务器导轨厂商 King Slide 股价五年暴涨 2385% — jwt0625 · 2026-10-24
- CASPA CEO 峰会：半导体回归风投热点，AI 芯片需提速节能千倍 — hardimanjames · 2026-10-24