两套 Blackwell vLLM 方案：NVFP4 KV 缓存换来 26 万上下文
SeanHighness · reddit · 2026-08-27
作者发布了两套面向 Blackwell GPU 的 vLLM 配置方案，核心理念是让 KV cache 也用上 Blackwell 的原生 FP4 能力，而不只是模型权重。
NVFP4 KV 的意义：KV cache 是长上下文/多并发下最大的显存消耗之一，将其从 BF16/FP8 压到 FP4 后，可腾出显存给更长上下文、更多并发流和更大的 KV 池。在 RTX 5090 上，区别在于"仅能支持 262K 上下文"与"同时服务多个可用流"。
两套方案定位：
- MTP-3（容量优先）：约 400K KV 池、最多 8 流、262K 上下文，适合多智能体/多用户/长上下文；
- DFlash2（速度优先）：约 325K KV 池、最多 4 流，投机解码明显更快，适合单流低并发。
其他亮点：视觉编码器跑在 CPU sidecar 上，不占 GPU 显存但保留多模态输入；组合了上游 vLLM 尚未合并的 NVFP4 权重 + NVFP4 KV + 投机解码 + Blackwell 内核等能力，打包成可复现构建。
适用建议：适合 RTX 5090、双 16GB Blackwell 卡等 FP4 原生硬件，跑 sub-agent、多用户推理、并行编码智能体；追求稳定官方支持的生产环境则应继续用原版 vLLM。
「编程与Agent」频道最新
- 马斯克转发用户实测：Grok Bot 不比 Codex 强但更顺手 — elonmusk · 2026-10-15
- 独立开发者发布 Blob0：把 S3/R2 对象存储管成 Mac 本地文件夹 — yihui_indie · 2026-10-15
- 2026 AI 工程师六层技能栈：从向量库到 Agent 编排 — mdancho84 · 2026-10-15
- 用 ChatGPT 搭机械工程工作流：Agent 编排热固封头研究，却因重置中断 — burhop · 2026-10-15
- 开源 Harness 工程课爆火：19k 星教你让编码 Agent 干活可靠 — thisguyknowsai · 2026-10-15
- 6 人团队 3 个月：AI Agent 进驻医保预授权平台的落地实录 — alex_verem · 2026-10-15