从文档抄草稿做投机解码,AI 抽取平均提速 4.7 倍
sh_reya · x · 2026-11-10
Shreya Shankar 与 Charles Frye 撰文介绍 Quail 中 AI.EXTRACT 的实现:用「从文档本身复制草词」的投机解码（speculative decoding）加速抽取任务，关键是在推理过程中自适应学习草稿长度。
实测成绩：
- 相比 naive vLLM 基线平均快 4.7 倍（最高 19 倍，CUAD-16 合同 41 字段查询从 2078.7s 降到 108.3s）
- 相比手写调优过的 vLLM 基线平均快 1.8 倍（最高 3 倍）
- 成本图基于 H100（$3.95/小时）测算每查询平均开销
配图显示草稿长度会随任务自动收敛：短答案任务（CUAD-1）稳定在约 10 tokens，长答案任务（CUAD-3）升至约 50 tokens，说明自适应机制能按答案长度分布自我调节。
「Infra」频道最新
- 约60万颗H200积压香港：复盘发现卡中国的是北京而非华盛顿 — GavinSBaker · 2026-11-10
- Polymarket 盘口：Anthropic 明年底前破产概率 23% — Polymarket · 2026-11-10
- 六大 AI Gateway 横评：Agentgateway 年成本 $280，对手最高 182 倍 — bibryam · 2026-11-10
- Anthropic 签下 34 亿美元大单，用天然气发电机绕开电网供数据中心 — Polymarket · 2026-11-10
- NVIDIA 专家:只看价目表选模型会算错账,token 效率才是关键 — togethercompute · 2026-11-10
- TrendForce：AI 网络互联市场 2027 将达 2789 亿美元，CAGR 95% — Beth_Kindig · 2026-11-10