Comet 长文：从零到生产，讲透扩散语言模型的取舍

techNmak · x · 2026-10-14

作者补充了 Comet 的博客文章《Diffusion Language Models, From Scratch to Production》。文章指出 2026 年语言模型架构正在重新多样化：状态空间模型、循环 Transformer 和扩散模型都开始进入生产环境，而流行的"扩散是否打败前沿自回归模型"的对比框架掩盖了各自真正的取舍。

文章解释扩散模型与自回归模型的根本差异——自回归逐 token 左到右生成、生成即固定，扩散则整段序列并行生成并多轮精化，早期 token 仍可被修改。Gemini Diffusion 在编码基准上保持竞争力的同时生成速度显著更快，其开源后续 DiffusionGemma 速度可达 4 倍以上（原文截断）。文章还提供从零构建扩散模型和评测生产级 dLLM 的 Colab。