RTX PRO 6000 跑 30B 模型达 2900 tok/s，端侧推理性能实测
HankYeomans · x · 2026-08-13
开发者分享了使用 NVIDIA RTX PRO 6000 显卡进行本地推理的性能实测数据。
- 模型与量化：运行 Nemotron-3.5-Lightning-30B-A3B-NVFP4 模型。
- 性能表现：实现了约 2900 tok/s 的聚合吞吐量，并成功分配了 8.1M 的 KV cache。
- 硬件评价：作者认为该显卡虽然价格昂贵，但物有所值。
所属事件:RTX PRO 6000 端侧推理实测跑 30B 模型达 2900 tok/s(2 条相关)→
「Infra」频道最新
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16
- 传闻新模型 cherry pi 小到能跑在树莓派上? — sull · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16