MTP到底怎么做验证
Other-Astronaut-2868 · reddit · 2026-07-14
帖子在问 MTP（一次预测多个 token）到底如何提升性能，尤其是“验证”阶段是怎么做的。 作者的困惑是：如果模型先预测出一串 token，后续怎样在不把整个序列逐 token 重新跑一遍的情况下，快速判断这些预测是对还是错？他理解到的流程是： 1. 先用标准 prefill 建立上下文 cache。 2. 最后一层通过轻量预测头一次给出多个 token。 3. 再用某种方式检查这些 token 是否可信。 作者质疑：decoder-only 架构下，是否仍然需要把生成的每个 token 重新送回模型前向一遍，才能充分判断正确性。并且他提到 Gemini 给出的解释让他更困惑，因此希望有人从机制上澄清 MTP 的验证流程。