实测发现:脉动阵列芯片上投机解码延迟呈阶梯式跳变

teortaxesTex · x · 2026-11-09

norpadon 指出一个冷知识:在带有脉动阵列的芯片(Tensor Cores、Neural Accelerators 等)上,投机解码的验证延迟随 draft 预算的变化不是平滑曲线,而是阶梯状——每级台阶宽度恰好等于脉动阵列的宽度。

配套图表以 M5 Max 跑 Qwen3.8-27B-M 实测:GPU 验证时间在 speculative budget 为 16、32、48 处出现明显跳变,从约 29ms 一路升到 50ms 以上;相对自回归的减速比在 32 处从约 12% 跳到 66%。这意味着在脉动阵列硬件上选择投机解码的 draft 长度时,应贴合阵列宽度的台阶边界,否则会白白损失性能。