Quail 博客:用 trie 树让 LLM 分类快 1.8 倍,挑战 BigQuery 式自由生成
sh_reya · x · 2026-10-13
Shreya Shankar 与 Charles Frye 发布博文，介绍其 AI-SQL 执行引擎 Quail 如何执行 AI.CLASSIFY（输入文档与标签列表、返回最匹配标签），比基线快约 1.8 倍。
问题：主流做法（BigQuery 的 AI.CLASSIFY、Snowflake 的 AICLASSIFY）让 LLM 自由生成再解析标签，既浪费又脆弱——decode 逐步生成是内存瓶颈、GPU 大量闲置，输出还可能不含合法标签。
方法：Quail 在自己的推理引擎内运行 LLM，可以把生成约束到标签上，文章比较三种执行方式并估算各自成本、自动选最便宜的：
- 贪婪生成标签文本
- 一次性给所有标签打分
- 每个标签按首字母/逐字打分
分类是 AI-SQL 最常见操作之一（如客服消息分到 billing、refund request、shipping delay 等），全文用 Qwen3-4B-fp8 作示例模型。还讨论了 decision models（为从候选答案中挑选而微调的 LLM）这一旁支。配套推文补充：标签预先存入 trie、约束解码到 trie 路径、只剩一个候选即停、把少量解码步骤打包进其他文档的 prefill 使 GPU 保持忙碌。
所属事件:Quail 用 trie 约束解码做 LLM 分类，比 vLLM 快约 1.8 倍(4 条相关)→
「Infra」频道最新
- Rodolfo Rosini 畅想 2040:廉价算力无处不在,设备数量再爆数个量级 — MikePFrank · 2026-10-13
- AI 推理芯片市场年规模 2250 亿美元,Vaire 解释为何鲜有初创敢做芯片 — MikePFrank · 2026-10-13
- Vaire CEO 访谈四连发：可逆计算芯片要让能量像潮汐磨坊一样往复利用 — MikePFrank · 2026-10-13
- 中国 AI 基建年烧 1650 亿美元,模型年入仅 110 亿,芯片产能不足英伟达 4% — demian_ai · 2026-10-13
- llama.cpp 新版发布：支持多模态模型，Metal 性能再升级 — vboykis · 2026-10-13
- Broadcom 光互联路线图：2026 年 Tomahawk 6 达 102.4T — firstadopter · 2026-10-13