16×H100 集群 Dynamo 部署指南：P/D 分离与 KV offload 实测
TheZachMueller · x · 2026-09-20
Junup Park 与 Jaga Prasanna 发布了一份在 2 节点 16×H100 集群上的 NVIDIA Dynamo 部署指南（Lambda 提供集群）。内容包括：
- 从裸 Ubuntu 起步的 K8s/Dynamo 搭建 runbook，覆盖网络配置（RoCE、NVLS）调试；
- 多模型部署与运维文档（模型缓存、NIXL/Grafana 监控、NVLS 恢复等）；
- 对 vLLM 与 SGLang 的 benchmark，实测 P/D 分离（prefill/decode disaggregation）、KV-aware 路由、CPU KV offload、并行度与自动伸缩各自带来多少收益。
仓库已开源，适合做生产级 LLM 推理部署参考。
「Infra」频道最新
- a16z：H100 租金比直线折旧线高 54%，老 GPU 远未贬值 — a16z · 2026-11-12
- 开发者晒 AMD Strix Halo 跑通 ONNX：本地编译匹配 migraphx ABI — wavefnx · 2026-11-12
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12