EMNLP 论文 SpecTr-GBV:统一多草稿生成与贪婪块验证的投机解码框架

jiqizhixin · x · 2026-10-24

投机解码(speculative decoding)用一个轻量草稿模型提出候选 token,再由目标模型并行验证,从而减少昂贵的前向传播。此前两条优化路线一直被分开设计:一是生成多条草稿序列以扩大候选空间,二是一次性验证更长的 token 块——前者提高找到可接受候选的概率,后者提升单次可接受的 token 数量。

EMNLP 2026 论文 SpecTr-GBV(OpenReview: 4BZ8R9wHhy)将多草稿生成与贪婪块验证(GBV)统一到单一投机解码框架中,把多个草稿 token 块对目标 token 块的验证形式化为一个联合问题,从而同时收获两条路线的收益。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →