Quail 支持 GDN 混合架构模型,较 vLLM 提速 3.2 倍

sh_reya · x · 2026-11-17

Full Stack Data Lab 团队为 SQL 中的 AI 函数推理引擎 Quail 增加了混合架构模型支持(如 Qwen3.5,其大部分注意力层被 Gated DeltaNet 线性注意力替代)。

关键点:

博客详细说明了混合模型与标准注意力在缓存语义上的差异及 checkpoint 设计。

所属事件:开源推理引擎 Quail 支持 GDN 混合架构模型(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →