DiffusionGemma 透明度研究：揭示非时序推理与 token 涂抹现象

burny_tech · x · 2026-08-28

该论文探讨了扩散大语言模型（如 DiffusionGemma）的推理透明度问题。研究将透明度分解为变量透明度和算法透明度。虽然 DiffusionGemma 初看似乎在连续潜在空间中进行了大量不透明计算，但在引入可解释的 token 瓶颈后，其不透明串行深度仅比自回归 Gemma 4 高出 1.1 倍。论文揭示了扩散模型特有的现象，包括非时序推理、token 与序列涂抹以及中间上下文推理。然而，算法透明度对扩散模型而言仍更具挑战性，因为画布上的所有 token 在每次去噪步骤中都可能发生变化。