vLLM 新方案:无需置信度头的自适应投机验证

vLLM Blog · rss · 2026-10-14

vLLM 博客介绍「Adaptive Verification Without a Confidence Head」:一种在线拟合的接受概率估计器,让任何草稿模型投机解码都能用上自适应验证。方法直接从 drafter 自身的 logits 预测目标模型的接受概率,并在服务过程中持续重新拟合,无需训练专用置信度头。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →