流式传输KV缓存实现推理加速

AIFlow_ML · x · 2026-07-13

作者转述 exolabs 的方法：**KV cache 在每一层 transformer 计算完后立刻发送**，把通信和计算重叠起来，从而隐藏网络延迟。效果上，他们声称在这种流水式传输下，**prefill 提速 4x、decode 提速 3x**，并且“没有网络延迟”的可见影响。