GLM-5.3-Flash NVFP4 实测：2x H200 与 4x RTX Pro 6000 吞吐几乎打平
TheZachMueller · x · 2026-10-21
用户 @keennay 用 llm-inference-bench 对 nvidia/GLM-5.3-Flash-NVFP4（DFlash2 推测解码）在 H200 与 RTX Pro 6000 两代 GPU 架构上做了系统对比，并给出关键选型结论：若主攻 NVFP4/MXFP4 大上下文 LLM 推理，4x H200 NVL 是甜点配置，且不会牺牲 CPU 内存 offload 能力（跑 DeepSeek V4.1、GLM-5.3-Flash 等需要）。
关键数据：
- 2x H200：单并发 512k 上下文 195 tok/s（SGLang）；8 并发 64k 上下文 619 tok/s（SGLang）/621 tok/s（vLLM）
- 4x RTX Pro 6000：单并发 512k 167 tok/s；8 并发 64k 620 tok/s
- 缺少原生 FP4 支持的 RTX Pro 6000 表现意外接近 H200；4 卡 RTX Pro 6000 峰值解码可达 1,358 tok/s（8k 上下文、32 并发）
- 512k 长上下文 prefill 仍需约 46-55 秒（TTFT）
结论与取舍：H200 的优势在显存容量与 CPU offload 配合下的超大上下文场景；RTX Pro 6000 在中短上下文、高并发下性价比突出。作者自述重点在图像/视频生成，后续会加卡。
「Infra」频道最新
- SpaceX 财报会：算力扩建超预期，资本开支与债务成最大悬念 — JOBhakdi · 2026-10-21
- 企业 AI 数据供应链应从系统记录源头抓起，而非先选模型 — craigmullins · 2026-10-21
- 马斯克:SpaceX 每月新增 20 万 GPU,2027 年算力欲达 13GW — JOBhakdi · 2026-10-21
- Together AI 柏林 Open Haus:n8n、NVIDIA 工程师谈开源模型生产化 — togethercompute · 2026-10-21
- Supermicro 初步业绩爆表:Q1 营收最高 195 亿美元,盘后涨近 10% — firstadopter · 2026-10-21
- WSJ 称 Anthropic 本季算力支出超 6000 亿美元,传 50 亿砸 RL 环境 — himanshustwts · 2026-10-21