从文档抄草稿做投机解码，AI 抽取提速最高 19 倍
sh_reya · x · 2026-11-10
- FS Data Lab 博文介绍其在 Quail 中实现 AI.EXTRACT 的提速方案：用投机解码，draft token 直接从待抽取文档中复制，并在推理过程中自适应学习 draft 长度。
- 结果：相比 naive vLLM 基线平均提速 4.7 倍（最高 19 倍），相比手工调优的 vLLM 基线平均 1.8 倍（最高 3.0 倍）；H100 上（$3.95/小时）每查询成本同步下降。
- 关键洞察：抽取任务的答案往往是文档原文片段，因此“抄文档”的 draft 命中率很高；配图显示短答案任务（CUAD-1）收敛到约 10 的 draft 长度，长答案任务（CUAD-3）收敛到约 50。
所属事件:投机解码从文档抄草稿，AI 抽取最高提速 19 倍(2 条相关)→
「Infra」频道最新
- 算账了:Anthropic 缓存 5 分钟/1 小时选项对应 GPU 与 CPU 存储 — bigaiguy · 2026-11-10
- 本地 AI 实用案例：RTX Spark 上跑简历筛选，隐私数据不出本机 — draginol · 2026-11-10
- Signal65 实测 MLPerf:Azure GB300 交互式推理吞吐超 26 万 tokens/秒 — ryanshrout · 2026-11-10
- 算力是智能爆炸的第一个关键瓶颈:AI 劳动替代算力的估计两极分化 — austinc3301 · 2026-11-10
- CoreWeave 推出 Claude Code Skill:CLI 里一句话建 GPU 集群并部署模型 — altryne · 2026-11-10
- Stripe 开放可认领沙箱：Agent 免注册零摩擦接入支付 — dl_weekly · 2026-11-10