NVIDIA 称 HGX B300 机密推理开销低于 8%
BenBajarin · x · 2026-07-21
NVIDIA 公布了在可信执行环境（TEE）里运行 AI 推理的基准结果，测试平台是 **HGX B300**。 - 覆盖 **throughput**、**TTFT**、**TPOT** 等指标，batch size 从 **4 到 256** - 官方称在所有配置下的性能开销都 **低于 8%** - 这条帖子的重点不仅是技术指标，也在强调这类部署会真实增加 **云厂商** 和 **本地机房** 的成本账
「Infra」频道最新
- SALT 用 trie 压缩长上下文，降低 LLM 运行成本 — No_Sky9786 · 2026-07-21
- 一篇 GPU 升级指南对比 H200 和 B200，并附基准代码 — StasBekman · 2026-07-21
- ComfyUI 基准显示 NVFP4 可加速 Flux 和 Qwen-Image 等模型 — Certain-Will-2769 · 2026-07-21
- 分析称华为 Ascend 950DT 可能在能效上超过 B300 — teortaxesTex · 2026-07-21
- OpenRouter 动态路由帮 2.2 万用户节省超 10 万美元 — gajesh · 2026-07-21
- 中国 LLM 厂商 API 价格战持续加剧 — sen_o · 2026-07-21