Puzzle-75B-A9B在三张3090上的推理表现

Important_Quote_1180 · reddit · 2026-07-09

帖子详细测试了 NVIDIA Puzzle-75B-A9B 在 3 张 3090 上的 NVFP4 推理表现:在 vLLM 0.22.1 下可实现约 132 tokens/s 的解码速度,整机墙上功耗约 500W。

原文链接 →