离散扩散与BERT掩码目标的关系
nandofioretto · x · 2026-07-13
离散扩散里的 **masked / absorbing-state** 设定，本质上很像把 BERT 的 masked LM 目标放进一个循环里：先训练模型去“补空”，再在生成时通过反复解 mask 来逐步采样。 这种做法的关键好处是： - 可以按任意顺序、并行地解码 token - 不必像自回归模型那样严格按左到右生成 - 生成过程通过迭代 unmask 完成，更适合并行推理 作者用一句话概括：离散扩散和 BERT 式掩码建模之间其实只有一层“循环迭代”的距离。