开源推理引擎 Quail 支持混合架构,缓存循环状态较 vLLM 提速超 3 倍
sh_reya · x · 2026-11-17
CMU Full Stack Data Lab 开源的 Quail 是一个在 SQL 中运行 AI 函数(如 AI.IF)的推理引擎,基于 Apache DataFusion 构建,MIT 协议,目前已获 188 star。
作者 shreya 宣布 Quail 现已支持混合架构(hybrid)模型:这类模型注意力层更少、KV 缓存更小,Quail 通过扩展缓存机制保存循环状态(recurrent state)并调整成本模型实现复用,据其博客实测相比 vLLM 取得超过 3 倍的加速。作者认为混合架构是未来方向,并顺带为其成员 Arnav 的 PhD 申请打 call。
所属事件:Quail 支持 GDN 混合架构模型,较 vLLM 提速 3.2 倍(2 条相关)→
「编程与Agent」频道最新
- 研究:AI Agent 前 6 小时探索最强,58% 任务从未触达最优思路盆地 — AlexGDimakis · 2026-11-17
- 开源 Opensteer:用 Claude 订阅在 Mac 本地跑手机可控个人 Agent — dinotimm · 2026-11-17
- Fable 5.2 跑 7 小时 8 轮评审,纯代码生成可驾驶菲亚特 Uno 3D 赛车 — Viktorkav · 2026-11-17
- 波兰工程师自述:团队已无人手写代码,人工审查也近乎消失 — PawelHuryn · 2026-11-17
- 多用户共享 Agent 体验糟糕,发布四项更新推出一键房间 — thechrisperry · 2026-11-17
- 开源 Pascal 编辑器在浏览器里实现近原生速度的 3D 建筑设计 — anthara_ai · 2026-11-17