开源推理引擎 Quail 支持 GDN 混合架构模型

CMU Full Stack Data Lab 开源的推理引擎 Quail 新增对混合架构模型的支持,如大部分注意力层被 Gated DeltaNet 替代的 Qwen3.5 等采用 GDN 混合架构的模型。Quail 是一个可在 SQL 中运行 AI 函数(如 AI.IF)的推理引擎,基于 Apache DataFusion 构建。凭借缓存循环状态等优化,其推理速度较 vLLM 提升超过 3 倍(最高达 3.2 倍)。

2026-11-17 ~ 2026-11-17 · 2 条相关