Quail 文档内草拟抽取方案提速 4.7 倍，最高达 19 倍
sh_reya · x · 2026-11-10
shreya 与 charlesirl 发布开源 AI 查询引擎 Quail 的新文章《Copy That? Faster AI-Powered Extraction by Drafting from the Document》。
- 核心思路：AI-SQL 推理负载中，很多答案就躺在被查询的文档里，与其让模型从零生成，不如直接「从文档中草拟」（drafting from the document）。
- 实现了基于学习的自适应 spec：在运行时为每条查询学习最优草稿长度，草稿最长可达 64 tokens。
- 效果：其 AI.EXTRACT 实现平均比 naive vLLM 基线快 4.7 倍（最高 19 倍），作者称可比其他精心调优的推理方案快且便宜 2 倍。
- Quail 是带 AI 函数的开源查询引擎，技术细节见其博客。
所属事件:Quail 用文档内草拟投机解码大幅提速 AI 抽取(3 条相关)→
「Infra」频道最新
- 26 人团队发 212 页论文,提出可暂停前沿 AI 十年的「硬接线暂停」方案 — DavidSKrueger · 2026-11-10
- Anthropic 与 OpenAI 算力结构剧变:预训练占比两年从 67% 跌至 7% — akbirthko · 2026-11-10
- 研究 1600 座数据中心：建成后 3-5 年新增约 1000-1300 个岗位 — RachelVT42 · 2026-11-10
- rakyll 预告：Agent Substrate 有望成为智能体算力底座，KubeCon 演讲将展开 — rakyll · 2026-11-10
- ngrok AI Gateway 接入 Liquid AI 与 160+ 模型，小模型把盆栽警报当急call — JosephJacks_ · 2026-11-10
- Together Compiler 发布：Kimi K3 推理吞吐最高提升 2.7 倍 — togethercompute · 2026-11-10