Weaviate 论文揭示：LLM 给数据库下命令常误用 LIKE 代替搜索

CShorten30 · x · 2026-09-14

Weaviate 团队（Connor Shorten 等）发布论文《Querying Databases with Function Calling》，研究 LLM 将自然语言指令映射到数据库查询的能力。他们提出了一个统一的数据库查询工具定义，支持搜索查询、过滤器、聚合/groupby 变换以及跨多个集合路由查询。团队构造了基于 Gorilla 框架的 DBGorilla 合成数据集，与 BIRD、Spider、WikiSQL 等 text-to-SQL 基准对比，用 5 个模型家族的 8 个 LLM 做了评测，Claude 3.5 Sonnet、GPT-4o 等都能较好使用该工具定义。一个关键发现：面对需要搜索（SEARCH）算子的自然语言指令，LLM 经常错误地使用 LIKE 或精确文本匹配算子。