扩散语言模型实测:速度快一倍但难任务通过率仅60%
techNmak · x · 2026-10-14
作者用通俗方式拆解了掩码扩散语言模型与自回归模型的本质区别:扩散模型可在一次前向中并行预测多个未定位置,再按置信度逐步提交,但也因此带来依赖问题——同一轮提交的多个位置无法互相当作新上下文,若彼此强相关,质量会受损,这就是去噪步数与解码顺序重要的原因。
Comet 用 Mercury 2 与 Claude Haiku 4.5 在 30 个编码任务上各跑 20 次做对比:Mercury 端到端平均约 3.0 秒 vs Haiku 的 6.0 秒,但整体通过率 84% vs 99.7%;难任务上 Mercury 仅 60%,把 reasoningeffort 调到 high 后提升到 83%,延迟升至约 7.1 秒。作者提醒这些数字混入了网络与服务开销,不能据此断言扩散比自回归快一倍。
更有用的评估视角是:不要问"扩散是否更快",而要看你的工作负载中有多少输出位置之间是弱依赖、可并行解决的——强依赖任务里更多的精化步骤不是开销而是必要工作。
所属事件:扩散语言模型引热议:速度快但难任务仍逊自回归(2 条相关)→
「模型」频道最新
- 创业者实测断言:Anthropic 是唯一真正的「前沿」实验室 — realsohamparekh · 2026-10-14
- Anthropic 升级防护削弱蒸馏攻击,网友讽"偷数据理直气壮" — AlexTensor · 2026-10-14
- PS5 被破解跑 Qwen 27B:20 token/s、免云免订阅 — mhdfaran · 2026-10-14
- 4-bit 量化保留 98-99% 质量,DeepSeek V4 Flash 并不适合本地部署 — gnukeith · 2026-10-14
- Muse Wonder 登 NoahBench 第四名,单任务耗时仅 10 分钟 — alexandr_wang · 2026-10-14
- 博主称 Gemini 4 日常对话最佳,但编码仍难敌 Claude — haider1 · 2026-10-14