SeKV:长上下文推理的自适应KV缓存

microsoft · hf · 2026-07-08

微软提出 SeKV,一种分辨率自适应的语义 KV 缓存方法,将上下文压缩为熵引导的 span,分层存储于 GPU-CPU 内存,在极低内存开销下实现高效长上下文处理并保留 token 级细节。