HYPIC：混合注意力模型缓存加速
小红书技术REDtech · wechat · 2026-07-16
小红书大模型推理团队与北大、上交提出 **HYPIC**，解决混合注意力大模型在 RAG/Agent 长上下文场景下无法与位置无关缓存（PIC）兼容的问题。 ### 核心思路 - **线性层**：不再只缓存“零初值末状态”，而是额外缓存段累积转移算子 `T_C`，复用时可在常数时间内组合状态，几乎精确还原任意前缀下的结果。 - **全注意力层**：引入很小的 **seam window**（默认 8 个 token）做局部重算，修复跨段注意力偏差。 - **段并行**：把冷请求拆成多个片段并行预填充，再汇总结果，降低长冷请求的 TTFT。 ### 实验结果 - 在 4 个生产级混合注意力模型、5 类工作负载上，HYPIC 相比 PrefixCache 平均将 **首 token 延迟降低 3.25 倍**。 - 同 SLO 下，**持续 QPS 提升 1.66 倍**。 - 任务质量与完全重算相比，平均只差 **1.71 分**；朴素“直接相加”会损失大量精度。 - 纯冷请求路径上，32k token 请求在 8 worker 下 TTFT 从 2.83 秒降到 0.49 秒。 ### 工程实现 - 基于 SGLang 实现，约 1.4 万行 Python/Triton。 - 测试了 Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B、HotpotQA/TriviaQA/MultiNews/GovReport，以及一条生产 RAG trace。