UCLA 提出自推测解码 SSR,加速推理模型

kastnerkyle · x · 2026-08-25

UCLA 研究团队提出 SSR(Self-Speculation for Reasoning Models),一种无需训练的自推测解码方法,旨在加速长链式思考(CoT)推理模型。该方法利用部分 CoT 的回答分布作为草稿,完整 CoT 分布作为验证者,基于两者语义和词汇的重叠度一次性接受长草稿前缀。SSR 还引入后缀解码技术,利用草稿填充后缀缓存,进一步减少延迟。实验表明,该方法在结构化和长文本生成任务上显著降低了推理延迟。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →