扩散语言模型引热议：速度快但难任务仍逊自回归

掩码扩散语言模型近日成为社区讨论焦点。有作者用通俗方式拆解其与自回归模型的本质区别：扩散模型可在一次前向中并行预测多个未定位置，再按置信度逐步提交，但同一轮提交的位置无法互相作为依赖，带来结构缺陷。实测显示其速度可快一倍，但难任务通过率仅约 60%。Comet 也发布长文《Diffusion Language Models, From Scratch to Production》，从零到生产讲透这类模型的架构取舍，并展望 2026 年语言模型架构方向。

2026-10-14 ~ 2026-10-14 · 2 条相关