只升 onnxruntime-gpu 到 1.31+CUDA 13,SAM 3 推理提速 3.8 倍
MaziyarPanahi · x · 2026-11-03
Maziyar Panahi 分享了一个白捡的性能提升:他的疟疾检测管线(SAM 3 ONNX 模型,L4 GPU)周末快了 3.8 倍——模型、GPU、输出结果完全不变,唯一改动是把 onnxruntime-gpu 从 1.23 升到 1.31,并换用其 CUDA 13 库。
AB 实测数据(每词跑 20 次):升级前 "cell" 80 个轮廓 median 0.529s,升级后 0.139s;两词总耗时从 1.06s 降到 0.28s,轮廓框逐像素一致。结论:如果你的 ONNX 模型在 GPU 上感觉慢,先检查 runtime 版本。
「Infra」频道最新
- 算账：Agent 场景缓存价格比输入价更关键，一次未命中等于 25 次命中 — zitoliv · 2026-11-03
- Local Office 本地办公 AI 适配 Windows ARM64:Qwen3 4B 跑 NPU 约 80 tok/s — HowDevelop · 2026-11-03
- 全天跑 Comfy 视频生成账单对比：RunPod、Vast 与自购主机谁更划算 — EducationalGroup7245 · 2026-11-03
- 曝 DeepSeek V5 将几乎全程用华为昇腾芯片预训练，摆脱英伟达 — kimmonismus · 2026-11-03
- Linus 本地跑 Qwen3-27B 嫌慢，被网友吐槽没用 vLLM 白瞎 5 倍速度 — victormustar · 2026-11-03
- SK 海力士子公司拟投 1000 亿美元在纽约建两座 NAND 工厂 — zephyr_z9 · 2026-11-03