开发者单卡 A100 本地实测 Nemotron 3.5，百份病历仅花 2 美分

开发者用单张 A100 80GB 本地实测英伟达 Nemotron 3.5 Lightning 模型（30B 总参数、3B 激活，BF16 精度），基于 vLLM 0.27.1 并关闭推理模式、温度设为 0。结果显示单流生成速度达 169 tok/s，首 token 延迟 114ms，34 秒即可批量处理 100 份出院病历，成本仅约 2 美分，且数据全程不出本机，随后作者公开了完整复现细节。

2026-10-17 ~ 2026-10-17 · 3 条相关

• 单卡 A100 本地跑 Nemotron 3.5,169 tok/s 处理百份病历仅 2 美分 — MaziyarPanahi · 2026-10-17
• 复现细节公开:Nemotron 3.5 本地测速用 30B-A3B BF16 单卡 A100 完成 — MaziyarPanahi · 2026-10-17
• 单 GPU 跑 nemotron 3.5 lightning:169 tok/s,百份病历 34 秒约 2 美分 — MaziyarPanahi · 2026-10-17