草稿模型起草候选 token 并一次前向验证

投机解码系列第三、四部分引入草稿模型机制：设目标模型分布为 p、草稿模型分布为 q，草稿模型提出 k 个候选 token，由于 q 运行成本远低于 p，起草成本大幅下降。验证时把整段草稿序列喂给目标模型，借助因果掩码，一次前向即可并行得到每个候选 token 在正确前缀下的条件概率 p₁…pₖ。但问题在于不能盲目接受草稿 token，需要后续的验证机制来保证输出质量。

2026-10-22 ~ 2026-10-22 · 2 条相关