复现细节公开:Nemotron 3.5 本地测速用 30B-A3B BF16 单卡 A100 完成
MaziyarPanahi · x · 2026-10-17
作者补充前帖本地测速的方法细节：Nemotron 3.5 Lightning 以 30B 总参数/3B 激活的 BF16 精度跑在单张 A100 80GB 上，vLLM 0.27.1，关闭推理模式、温度 0，测试用合成病历；tok/s 按解码 token 数除以解码时间取 5 流中位数，2 美分成本按 34 秒 × $2.50/GPU 小时、仅计 GPU 费用。
所属事件:开发者单卡 A100 本地实测 Nemotron 3.5，百份病历仅花 2 美分(3 条相关)→
「Infra」频道最新
- VPS 自部署 Magpie 网关，攒出专属真·OpenRouter — vista8 · 2026-10-18
- PyTorch 大会 2026 五场技术演讲：MoE 通信优化、数据加载提速 10 倍 — PyTorch · 2026-10-18
- Dan Ives:韩国实地调研称内存芯片供需比达 13:1 — AccBalanced · 2026-10-18
- V100 还是 RTX 9700?本地 LLM 工作站的首卡纠结 — Numerous-Ad6217 · 2026-10-17
- 博主实测新版 DeepSeek V4.1 Flash：5亿 token 缓存命中率高达 99.41% — AlchainHust · 2026-10-17
- Ben Lorica:本地 AI 关键不是隐私,而是任务路由在哪跑 — bigdata · 2026-10-17