单卡 A100 本地跑 Nemotron 3.5,169 tok/s 处理百份病历仅 2 美分
MaziyarPanahi · x · 2026-10-17
作者用一张 A100 80GB 本地实测 Nemotron 3.5 Lightning（30B 总参数/3B 激活，BF16，vLLM 0.27.1，关闭推理模式、温度 0）批量处理出院小结：单流 169 tok/s、首 token 延迟 114ms，100 份病历并发一次跑完仅 34 秒，批量吞吐达 2103 tok/s，按 $2.50/GPU 小时算成本约 2.4 美分，全程数据不出本机。作者以此回应「本地模型达不到 100 tok/s 就没人用」的质疑——本地推理已轻松跨过这道门槛。
所属事件:开发者单卡 A100 本地实测 Nemotron 3.5，百份病历仅花 2 美分(3 条相关)→
「Infra」频道最新
- MiniCPM-V 4.7 仅占 3GB 显存，本地跑出 100 tokens/秒 — NielsRogge · 2026-10-17
- AI 算力竞赛的隐形功臣:数据中心电源管理芯片决定能效上限 — Olivier__OG · 2026-10-17
- 35B 多模态模型跑进 3GB 内存：MiniCPM-V 4.7 全程离线读懂家电面板 — alifcoder · 2026-10-17
- 本地跑 Qwen3.8-Flash-Next：换全量 FP8 n-gram 表质量明显提升 — sillynoobhorse · 2026-10-17
- NVIDIA 开源 AIPerf 基准工具 + Triton 官方教程：推理性能测量的两块拼图 — techNmak · 2026-10-17
- Triton 官方 GPU 编程教程：从向量加法到融合注意力 — techNmak · 2026-10-17