SGLang 上线 NVFP4 4-bit KV Cache:长上下文解码提速最高 78%
BanghuaZ · x · 2026-09-22
- 发布:LMSYS 与 Qwen(阿里)、NVIDIA 合作,在 SGLang 中为 Blackwell GPU 带来 NVFP4 4-bit KV cache,加速长上下文与 Agent 推理。
- 内存:NVFP4 每 token 仅占 FP8 约 56% 的显存,可多装约 1.78 倍上下文。
- 吞吐:解码吞吐在 32K/160K/1M 上下文分别提升 37%/58%/78%。
- 精度:在 Qwen3.5-397B-A17B 上与 FP8 基本无损,GPQA-Diamond 与 AIME 2025 成绩持平;更高缓存命中率使 AgentX 吞吐在 FP8 衰减处继续扩展。
- 实现:结合 NVFP4 两级缩放、decode 内核内反量化与分页 KV cache,SGLang 中一个参数 --kv-cache-dtype nvfp4 即可启用。
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12