Mercury3 扩散 LLM 标称千 token/秒：推理延迟的结构性解法

大模型之路 · wechat · 2026-10-22

Inception 于 2026 年 10 月 19 日发布扩散 LLM「Mercury3」，官方标称 1000+ token/秒、首字延迟 54 毫秒、百万级上下文，推广期价格输入 0.10 / 输出 0.35 美元每百万 token，API 闭源不放权重。

文章解释了扩散 LLM 的结构性优势：自回归模型延迟随输出长度线性增长，扩散解码用 3-5 步去噪并行精修全部位置，延迟与输出长度弱相关，因此长输出、多轮交互场景是其甜区。但也指出代价：去噪步数是质量-速度的硬约束、训练范式需重新适配生态、闭源无法自行优化，且所有跑分均为厂商自报、无第三方复现。结论是把它当作「延迟优化的新选项」而非自回归终结者，适合对延迟敏感、输出偏长的应用做 A/B。