Quail 用文档内草拟投机解码大幅提速 AI 抽取

Shreya Shankar 与 Charles Frye 发文介绍开源 AI 查询引擎 Quail 中 AI.EXTRACT 的提速方案:利用投机解码,draft token 直接从待抽取文档中复制,并在推理过程中自适应学习。实测显示该方案平均提速 4.7 倍,最高可达 19 倍。

2026-11-10 ~ 2026-11-10 · 3 条相关