Quail 支持 GDN 混合架构模型,较 vLLM 提速 3.2 倍
sh_reya · x · 2026-11-17
Full Stack Data Lab 团队为 SQL 中的 AI 函数推理引擎 Quail 增加了混合架构模型支持(如 Qwen3.5,其大部分注意力层被 Gated DeltaNet 线性注意力替代)。
关键点:
- GDN 层状态大小固定,不随文档长度线性增长:16000 token 文档在 Qwen3-4B 下需约 2.36 GB KV 缓存,Qwen3.5-4B 仅需 576 MB,减少 76%
- Quail 现在在读完文档后除了 KV cache,还保存 GDN 层状态的 checkpoint,使后续提问无需重新处理文档
- 团队相应改造了内存管理与成本模型;在 46 个 QUAIL-B 查询上,Qwen3.5-4B 几何平均较 vLLM 取得 3.2 倍加速
博客详细说明了混合模型与标准注意力在缓存语义上的差异及 checkpoint 设计。
所属事件:开源推理引擎 Quail 支持 GDN 混合架构模型(2 条相关)→
「Infra」频道最新
- 四家企业客户自托管小型语言模型,原因曝光 — joecole · 2026-11-17
- Hyperbolic 创始人 SGLang Summit 演讲:算力优化之外还要盘活闲置 GPU — BanghuaZ · 2026-11-17
- 研究者发现两条未公开 x86 指令,可从用户态直写 CPU 微码 — sull · 2026-11-17
- Inkling-2-Small 评测:单节点每小时完成 911 个企业任务,成本比 DeepSeek 低 43% — ryanshrout · 2026-11-17
- Blackstone 数据中心 SPV 融资遇冷:目标 8 亿仅募到 3 亿 — edgarpavlovsky · 2026-11-17
- 微软故障一线复盘:4 个月前的隐藏 bug 被激活,纯人工代码、AI 协助排查 — sebkrier · 2026-11-17