自研 NVFP4 KV 缓存+YaRN：单卡 5090 跑通 55.5 万上下文

Lumpy-Comedian-1027 · reddit · 2026-09-06

开发者在 NInfer（Qwen 推理引擎）基础上发布 fork，把 QIn3.8-27B 的本地推理能力大幅推进：

NVFP4 4-bit KV 缓存：从零实现自定义 MMA kernel（m16n8k64），Q/K 量化到 NVFP4、V 保留 BF16 并做 PV 专用解码 kernel；量化前对 K/Q 做 Hadamard 旋转抑制离群值，解码时原地融合量化。每 token 每 KV 头仅 144 字节（int8 为 264，bf16 为 512），显存省 45% 且质量无损（LongBench 与 int8 持平、AIME 96.7%、大海捞针 100%）。
YaRN 上下文扩展：利用模型 RoPE 配置特点，在 5090 上把原生 262k 扩展到 555k（并发 3+视觉）/600k（并发 1），592k token 输出保持连贯；推算 96GB+ 显卡可达 8M 上下文（未实测）。
两级前缀复用 + Host KV 安全网：自研 HostKVSafetyNet（固定内存竞技场、scatter-gather 分配、pin/take 并发协议），支持执行前沿/重写检查点两级前缀匹配与会话键回退；260+ 请求、3 个 330k-470k 并发会话验证，缓存轮次零重复 prefill，H2D 恢复仅 0.4s。
性能：400k+ 上下文解码 117 tok/s（MTP 4.62 tok/轮、92% 接受率），414k 缓存会话冷启动 prefill 260s。
还包括容错工具调用解析（恢复格式错误的 Qwen 工具调用、嵌套标记处理）与 Responses API 顺序兼容等改进。

「编程与Agent」频道最新