LMSYS推出统一Radix缓存解决混合模型前缀缓存难题

LMSYS发布博客推出统一Radix缓存方案，旨在解决混合模型中前缀缓存过于复杂的问题。由于混合模型包含不同的注意力机制，各自具有特定的缓存重用语义，导致过去需要复杂的专门缓存类组合式增量开发。该新方案有效统一了这一处理过程，降低了开发难度与系统复杂性。

2026-08-11 ~ 2026-08-12 · 2 条相关