投机解码接受率高，反衬出分词器效率低下
yacineMTB · x · 2026-07-07
研究者Vikhyat Korulla提出一个观点：如果你的投机解码（speculative decoding）草稿模型平均能被接受6个以上token，往往说明你的分词（tokenization）效率太低。 换句话说，过高的spec decode接受率本身可能是在暴露分词器的设计问题，而非单纯的解码优化成功。
yacineMTB · x · 2026-07-07
研究者Vikhyat Korulla提出一个观点：如果你的投机解码（speculative decoding）草稿模型平均能被接受6个以上token，往往说明你的分词（tokenization）效率太低。 换句话说，过高的spec decode接受率本身可能是在暴露分词器的设计问题，而非单纯的解码优化成功。