LoopVQ 实现 0.25bit KV 缓存量化,吞吐提升最高 6.1 倍

SeoulNationalUniv · hf · 2026-11-05

首尔国立大学提出 LoopVQ,针对 looped transformer(重复复用同一层)的 KV 缓存瓶颈:发现其 KV 缓存沿 loop 轴高度冗余、各 loop 步量化敏感度差异大,据此联合编码多个 loop 步的通道并微调 codebook。在 0.5 bit/元素下,LoopVQ 在通用任务、长链推理和长上下文检索上超越现有标准 LLM 的 KV 量化方法;结合 TaSQ 后即使 0.25 bit/元素仍保留大部分 BF16 精度。已在 SGLang 落地:32K 上下文解码延迟近乎减半,Ouro 1.4B/2.6B 模型峰值吞吐分别提升至 4.3 倍和 6.1 倍。