Lafa 流语言模型达 8B 规模,吞吐提升 2.5 倍
UC Berkeley、Amazon、KAIST 与 CMU 联合发布 Lafa(Large flow language model),将连续流语言模型扩展到 80 亿参数规模。核心设计采用分块流模型:前缀使用因果注意力,块内进行双向异步流计算。配合自推测解码,Lafa 在追平自回归模型生成质量的同时,实现最高 2.54 倍的吞吐量提升,验证了流语言模型可承载真正的生成任务。
2026-10-21 ~ 2026-10-22 · 3 条相关
- Lafa 流语言模型扩到 8B,自推测解码实现 2.54 倍吞吐 — Arnav Chavan · 2026-10-21
- Lafa:8B 参数流语言模型追平自回归质量,吞吐量提升 2.5 倍 — AdtRaghunathan · 2026-10-22
另有 1 条近重复转述:kalyan_kpl