开源 AI-SQL 引擎 Quail 加入前缀共享,标记 1772 条 trace 省 3 倍 token

sh_reya · x · 2026-10-08

开发者 shreya 宣布其开源 AI-SQL 引擎 Quail 新增 prefix sharing 支持:当多条 LLM 调用共享长前缀(如相同 system prompt、文档上下文)时,可复用已计算的 token。
实测案例:用 qwen3-4b 给 1,772 条长 agent trace 标注 issue 类型,计算量减少 3 倍,查询提速 2.6 倍。
被转发评论指出其中的关键技术点:Quail 的优化器会根据文档重叠度与 KV-write 成本来决定是否启用前缀共享,在 LLM 请求到达前就规划好复用策略。
对跑大规模 agent 评测/日志分析、或任何需要重复长上下文调用的工作流,这是可以直接借鉴的省成本手段。

「编程与Agent」频道最新