扩散语言模型实测:速度快一倍但难任务通过率仅60%

techNmak · x · 2026-10-14

作者用通俗方式拆解了掩码扩散语言模型与自回归模型的本质区别:扩散模型可在一次前向中并行预测多个未定位置,再按置信度逐步提交,但也因此带来依赖问题——同一轮提交的多个位置无法互相当作新上下文,若彼此强相关,质量会受损,这就是去噪步数与解码顺序重要的原因。

Comet 用 Mercury 2 与 Claude Haiku 4.5 在 30 个编码任务上各跑 20 次做对比:Mercury 端到端平均约 3.0 秒 vs Haiku 的 6.0 秒,但整体通过率 84% vs 99.7%;难任务上 Mercury 仅 60%,把 reasoningeffort 调到 high 后提升到 83%,延迟升至约 7.1 秒。作者提醒这些数字混入了网络与服务开销,不能据此断言扩散比自回归快一倍。

更有用的评估视角是:不要问"扩散是否更快",而要看你的工作负载中有多少输出位置之间是弱依赖、可并行解决的——强依赖任务里更多的精化步骤不是开销而是必要工作。

所属事件:扩散语言模型引热议:速度快但难任务仍逊自回归(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →