开源推理引擎 Quail 支持混合架构,缓存循环状态较 vLLM 提速超 3 倍

sh_reya · x · 2026-11-17

CMU Full Stack Data Lab 开源的 Quail 是一个在 SQL 中运行 AI 函数(如 AI.IF)的推理引擎,基于 Apache DataFusion 构建,MIT 协议,目前已获 188 star。

作者 shreya 宣布 Quail 现已支持混合架构(hybrid)模型:这类模型注意力层更少、KV 缓存更小,Quail 通过扩展缓存机制保存循环状态(recurrent state)并调整成本模型实现复用,据其博客实测相比 vLLM 取得超过 3 倍的加速。作者认为混合架构是未来方向,并顺带为其成员 Arnav 的 PhD 申请打 call。

所属事件:Quail 支持 GDN 混合架构模型,较 vLLM 提速 3.2 倍(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →