新 all-reduce 内核让 DeepSeek 解码提速:PCIe 小报文延迟优化实测 21%~32%

teortaxesTex · x · 2026-10-26

开发者 AlpinDale 发布了一组面向 PCIe 互联 GPU、优化小报文延迟的 all-reduce 通信内核,在 4x RTX 6000 Pro 服务器上跑 DeepSeek-V4.1 Flash 实测端到端解码提速 12%。进一步调优后提升更大:不开投机解码平均提升 21%,开启投机解码提升 32%。测试方法为在 3 台服务器上各顺序跑 10 次请求取平均,以降低方差。配图数据显示:非投机模式下解码从 NCCL 的 101.2 tok/s 提升到配对 PCIe 的约 122-123 tok/s;DSpark K7 投机模式下从 290.4 提升到 385.8 tok/draft acceptance 约 60%。