RTX PRO 6000 端侧推理实测跑 30B 模型达 2900 tok/s

近日开发者分享了 NVIDIA RTX PRO 6000 显卡的本地推理性能实测数据。在运行 Nemotron-3.5-Lightning-30B-A3B-NVFP4 模型时，该显卡实现了高达 2900 tok/s 的推理速度。这一实测结果展示了该显卡在端侧大模型部署上的强劲性能与巨大潜力。

2026-08-13 ~ 2026-08-13 · 2 条相关