自回归与扩散并非对立
burny_tech · x · 2026-07-17
转发内容认为，自回归和扩散并不是非此即彼的对立关系，两者可以共存，例如通过 **diffusion forcing** 这类思路结合起来。 作者进一步指出，真正的分界可能不是“自回归 vs 扩散”，而是 **离散 token vs 连续 token**。原引用则强调了一种常见判断：当 memory bandwidth 更便宜时，自回归更占优；当 FLOPS 更便宜时，扩散更有优势。
burny_tech · x · 2026-07-17
转发内容认为，自回归和扩散并不是非此即彼的对立关系，两者可以共存，例如通过 **diffusion forcing** 这类思路结合起来。 作者进一步指出，真正的分界可能不是“自回归 vs 扩散”，而是 **离散 token vs 连续 token**。原引用则强调了一种常见判断：当 memory bandwidth 更便宜时，自回归更占优；当 FLOPS 更便宜时，扩散更有优势。