掩码扩散模型并行生成的软肋：条件独立导致联合不连贯

alec_helbling · x · 2026-09-05

alechelbling 用三条推组成的小型技术线程解释掩码扩散模型的并行生成机制及其核心局限：同一步采样的多个 token 在给定上下文时相互条件独立，因此每个 token 的边际分布可能各自合理，联合序列却不连贯。他举例：国际象棋中 Alice 和 Bob 都可能赢或输，独立采样却可能产生「Alice 认输后 Alice 获胜」这类自相矛盾的赋值。推论是数独这类强结构化推理任务，每次只能生成一两个相互依赖的 token，为保持连贯需要大量采样轮次，从而限制了并行生成带来的推理加速空间。