只换 onnxruntime-gpu 1.31,疟疾检测模型推理提速 3.8 倍
MaziyarPanahi · x · 2026-11-03
作者发现疟疾细胞计数模型一个周末提速 3.8 倍，且没动模型本身：同样的 SAM 3、同一张 L4 GPU、输出完全一致（每框误差 0.02px 内），唯一改动是把 onnxruntime-gpu 从 1.23 升到 1.31（含 CUDA 13 库）。
- 复现方法：同一容器、同一涂片、每种跑 20 次，单次推理从 0.53s 降到 0.14s
- 原因：旧构建会向计算图加入 3,860 个 copy 节点，新构建只需 8 个
- 结论：如果 ONNX 模型在 GPU 上感觉慢，先检查 onnxruntime-gpu 版本再考虑换模型；修复源自 @wkentaro 的 lockfile 建议
所属事件:仅升级 onnxruntime-gpu,SAM 3 推理速度提升 3.8 倍(2 条相关)→
「Infra」频道最新
- Anthropic 三季度短期算力狂掷 50 亿美元重回经营亏损 — pstAsiatech · 2026-11-03
- Nvidia 要求云客户减少来自中国企业的业务 — The Decoder · 2026-11-03
- Brookfield 拟投 270 亿美元,在英国电厂旧址建 AI 数据中心 — Alone-Dragonfruit602 · 2026-11-03
- 英伟达要求数据中心客户降低中国敞口,仅限未来新合约 — pstAsiatech · 2026-11-03
- 传 Micron 印度员工排灯节奖金高达年薪 3-4 倍 — dhruv2038 · 2026-11-03
- SK 海力士拟租用 Intel 俄亥俄晶圆厂或组建合资生产存储芯片 — zephyr_z9 · 2026-11-03