单 GPU 跑 nemotron 3.5 lightning:169 tok/s,百份病历 34 秒约 2 美分
MaziyarPanahi · x · 2026-10-17
开发者周末用单张 GPU 本地跑 nemotron 3.5 lightning 处理出院记录：单流 169 tok/s、首 token 延迟 114ms，数据全程不出本机；100 份病历批处理 34 秒完成，GPU 成本约 2 美分。随后有人回应：自己使用模型的底线是 100 tok/s，低于这个速度就不想用——本地部署这次达到了这个标准。
所属事件:开发者单卡 A100 本地实测 Nemotron 3.5，百份病历仅花 2 美分(3 条相关)→
「Infra」频道最新
- VPS 自部署 Magpie 网关，攒出专属真·OpenRouter — vista8 · 2026-10-18
- PyTorch 大会 2026 五场技术演讲：MoE 通信优化、数据加载提速 10 倍 — PyTorch · 2026-10-18
- Dan Ives:韩国实地调研称内存芯片供需比达 13:1 — AccBalanced · 2026-10-18
- V100 还是 RTX 9700?本地 LLM 工作站的首卡纠结 — Numerous-Ad6217 · 2026-10-17
- 博主实测新版 DeepSeek V4.1 Flash：5亿 token 缓存命中率高达 99.41% — AlchainHust · 2026-10-17
- Ben Lorica:本地 AI 关键不是隐私,而是任务路由在哪跑 — bigdata · 2026-10-17