开源 AI-SQL 引擎 Quail：单张 H100 跑出每分钟 10 亿+ 输入 tokens
sh_reya · x · 2026-09-27
研究者 shreya 联合 Modal 发布开源 AI-SQL 引擎 Quail：通过将查询计划与 LLM 推理统一规划，单张 H100 上单查询即可达到 1B+ 输入 tokens/分钟的吞吐。
核心思路：AI 驱动的数据算子（data operators）创造了新型推理负载，Quail 把 LLM 推理“推近数据/查询层”——与 Jevons 范式把决策推近模型层不同，它让查询执行和推理调度协同设计，从而大幅提升大规模数据上的 AI 查询效率。项目与 Modal 合作开源。
所属事件:UC Berkeley 团队联手 Modal 开源 AI-SQL 引擎 Quail(25 条相关)→
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- Ben Shapiro 公开推荐《The Nvidia Way》,作者直呼没想到 — firstadopter · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12