两块 H200 跑 Nemotron 120B：Litespark 推理达每秒 962 token
NVIDIAAI · x · 2026-10-17
Mindbeam 宣布在 Litespark 推理引擎上部署 NVIDIA Nemotron 3.5 Super VL 120B-A12B，实测表现亮眼：仅用两块 NVIDIA H200 GPU，warm-start 基准下达到每用户每秒 962 token、输出吞吐 947 token/s。文中指出开源 SOTA 模型在学界和工业界快速普及，带动对高性能推理引擎的需求，需要在吞吐、硬件利用率等方面做极致优化。
「Infra」频道最新
- E2B 创始人吐槽：多数沙箱服务商护城河只是 Firecracker 套壳 — zeeg · 2026-10-17
- 读一次内存的电够芯片做 6400 次加法：数据中心近存的投资机会 — FinanceYF5 · 2026-10-17
- Hash Rate 播客:Jev 模型登录 Bittensor SN92,去中心化训练挑战传统 LLM — markjeffrey · 2026-10-17
- 博通算账：AI 客户每部署 1GW 算力可产生 300 亿美元年收入 — Beth_Kindig · 2026-10-17
- Anthropic 为 Claude 平台推出 OpenTelemetry 支持并加入 GenAI 追踪标准工作组 — dsp_ · 2026-10-17
- 德州电网排队暴涨至474GW，白皮书称数据中心应成为电网资源 — espricewright · 2026-10-17