AI-SQL 太贵怎么办:Berkeley 团队详解用查询计划削减百万级 LLM 调用
HamelHusain · x · 2026-10-08
Full Stack Data Lab 发布长文《Building an Ultra-High Throughput AI-SQL Engine》，作者包括 Shreya Shankar、Charles Frye 等。
核心问题：AI-SQL（用自然语言 prompt 定义的 SQL AI 函数，如 Snowflake Cortex AISQL、BigQuery AI、Databricks AI Functions、MotherDuck）让非结构化数据可直接用 SQL 查询，但一条过滤查询每行都要调一次 LLM，naive join 更是行数的笛卡尔积，动辄几十万到上百万次模型调用，成本极高。
已有优化：学术界开源系统如 Berkeley 的 DocETL、Stanford 的 LOTUS、MIT 的 Palimpzest、Cornell 的 ThalamusDB，主要通过减少 LLM 调用次数（MOAR、Task Cascades、Abacus）和换用更便宜模型（BARGAIN）来降本，但查询计划仍可能需要海量调用。
核心思路：文章提出用「查询计划」作为关键手段进一步压低成本，可在 Modal 上实际运行。Hamel Husain 在回复 kwuchu「如何分析 6500 页半敏感文档」的提问时推荐了这套方案。
所属事件:伯克利团队发布高吞吐 AI-SQL 引擎，砍掉百万级 LLM 调用(2 条相关)→
「Infra」频道最新
- StackOverflow 2026 调查:Postgres 以 58% 使用率稳居第一 — dshukertjr · 2026-10-08
- 双卡 192GB 玩家跑通 456GB 版 DeepSeek v4.1,SSD 分担专家权重 — HankYeomans · 2026-10-08
- 不花现金:用 opencode 积分换 GB300 算力额度 — const_reborn · 2026-10-08
- Together 登顶 OpenRouter 最大的 provider,吞吐量第一 — NVIDIAAI · 2026-10-08
- umbrelOS 2.0 本地 AI 两步搞定:自动识别 GPU 秒级部署 — JosephJacks_ · 2026-10-08
- Google AI 基建掌门人：每瓦 goodput 是北极星指标 — samiramanabi · 2026-10-08