用 Trie 树做 LLM 分类:Quail 比基线 vLLM 快约 1.8 倍

sh_reya · x · 2026-10-13

Full Data Lab 的 Shreya Shankar 与 Charles Frye 撰文介绍其 AI-SQL 执行引擎 Quail 如何高效执行 AI.CLASSIFY(文档+标签列表→选出最匹配标签)。

问题:让 LLM 自由生成再解析标签,既浪费 token 又可能输出无效标签(BigQuery AI.CLASSIFY、Snowflake AICLASSIFY 均如此)。

三种执行策略与成本权衡:

核心优化:标签预先已知,Quail 将其存入 trie 树并约束解码只在 trie 路径上;当只剩一个候选标签时立即停止解码;并把少量解码步骤与其他文档的 prefill 打包到同一批 forward pass,保持 GPU 满载。

结果:在 12 个分类查询上,Quail 比 vLLM 基线快约 1.8 倍。文章还讨论了为在候选答案中选择而微调的 decision models。项目已开源。

所属事件:Quail 用 trie 约束解码做 LLM 分类，比 vLLM 快约 1.8 倍(4 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →