vLLM 自适应验证免训练:Draft logits 自带置信信号,在线校准即可用

vllm_project · x · 2026-10-15

vLLM 项目宣布 adaptive verification 重大简化：一个月前还需要带训练好的置信头（confidence head）的 drafter，现在可直接使用你已在服务的 draft 模型——MTP、EAGLE、DFlash、DSpark checkpoint 均可，无需置信头、无需重新训练。

核心洞察：信号本就藏在 draft logits 里。drafter 自身的 top-token 概率排序质量可与训练过的置信头媲美，只是会高估接受率；用一个从目标模型接受/拒绝决策中在线训练的微型 logistic 回归即可校正校准。

基准测试中，单一自适应验证配置在最大 draft 长度下，于大多数并发水平都能保持在吞吐–交互性的 Pareto 前沿，无需针对负载调参。现已在 main 分支可用（enableadaptiveverification），要求 draft 模型的 attention 后端支持变长验证。由 Giancarlo Delfin 构建。

原文链接 →

「Infra」频道最新

• 月烧数十万美元经验：coding agent 与推理优化的榜单测法 — abhijithneil · 2026-10-15
• 几何自注意力新方法：2K 上下文状态小 14000 倍且 CE 更优 — iskander · 2026-10-15
• 美光三年涨 1230%,跑赢英伟达 AMD 博通 3-4 倍 — Beth_Kindig · 2026-10-15
• vLLM 携手 NVIDIA 用 wideEP 优化 GB300 NVL72,TCO 性能领先 7.2 倍 — woosuk_k · 2026-10-15
• 模拟1050万种场景对比AI芯片位置验证方案的成本效益 — chrisrohlf · 2026-10-15
• CoreWeave 债券遭抛售次日，Neocloud 板块单日暴跌 12% — SumitGup · 2026-10-15

更多「Infra」频道 AI 资讯 →