JetSpec突破投机解码瓶颈，推理速度最高提升9.64倍
jiqizhixin · x · 2026-07-07
来自UC San Diego、浙江大学、UIUC、南京大学等机构的研究人员提出JetSpec，解决了投机解码在增大草稿预算时无法持续提速的瓶颈。JetSpec采用单次前向传播结合因果条件化构建连贯草稿树，在MATH-500上实现最高9.64倍加速，开放对话任务提升4.58倍。在数学、编码和对话任务上均超越现有最优基线方法。
jiqizhixin · x · 2026-07-07
来自UC San Diego、浙江大学、UIUC、南京大学等机构的研究人员提出JetSpec，解决了投机解码在增大草稿预算时无法持续提速的瓶颈。JetSpec采用单次前向传播结合因果条件化构建连贯草稿树，在MATH-500上实现最高9.64倍加速，开放对话任务提升4.58倍。在数学、编码和对话任务上均超越现有最优基线方法。