CMU 团队开源 Quail：SQL 内跑 LLM，平均比 vLLM 快 1.8 倍
sh_reya · x · 2026-10-25
CMU Full Stack Data Lab 开源了 Quail（QUery-Aware Inference Layer），一个在 SQL 中运行 AI 函数的开源推理引擎，MIT 协议，目前 171 stars。
核心思路与性能：
- Quail 在用户自己的 GPU 上对大规模数据集运行 LLM（基于 vLLM 生态），针对每条查询整体优化 LLM 推理与内存管理，而非逐行处理
- 官方基准：平均比调优过的 vLLM 基线快 1.8 倍，含 AI join 的查询最高快 14 倍
- 支持 AI.EXTRACT 等直接写进 SQL 的 AI 函数，可在自有数据上做提取、分类、join 等操作
- 集成 Arrow、GPU 推理、S3 存储等，定位是让分析型 SQL 查询直接调用 LLM 能力
作者 shreya 同步在 Slack 等场景展示其用法：把 LLM 推理嵌入团队日常数据工作流。
「编程与Agent」频道最新
- 想用 AI 做动画剧集？Reddit 用户求解长视频项目管理工作流 — dtdisapointingresult · 2026-10-25
- Nutlope 分享五步 vibe coding 工作流：语音出 prompt、agent 反向提问再迭代 — nutlope · 2026-10-25
- YC 押注 AI 浏览器 Aside,号称拿下三大浏览器 agent 榜首 — brandon_galang · 2026-10-25
- 三大科学基准对比：CritPt、SciCode 与 Terminal-Bench Science — geoffwolfe · 2026-10-25
- REA 逆向工程 agent 框架登顶 GitHub Trending，附完整学习路线图 — blaizedsouza · 2026-10-25
- 开发者把 Google Rust 风格指南蒸馏成 Claude Code 插件 BeautifulRust — blaizedsouza · 2026-10-25