SGLang通过KV缓存复用提升6.4倍推理吞吐

BanghuaZ · x · 2026-07-18

SGLang项目通过radix树自动复用共享前缀的KV缓存，避免重复计算，相比先前系统实现高达6.4倍的吞吐提升。这是推理优化的重要进展。