Lafa 流语言模型达 8B 规模,吞吐提升 2.5 倍

UC Berkeley、Amazon、KAIST 与 CMU 联合发布 Lafa(Large flow language model),将连续流语言模型扩展到 80 亿参数规模。核心设计采用分块流模型:前缀使用因果注意力,块内进行双向异步流计算。配合自推测解码,Lafa 在追平自回归模型生成质量的同时,实现最高 2.54 倍的吞吐量提升,验证了流语言模型可承载真正的生成任务。

2026-10-21 ~ 2026-10-22 · 3 条相关

另有 1 条近重复转述:kalyan_kpl