PyTorch 实测 batching：吞吐大涨而延迟仅微增

开发者在 PyTorch 2.8.0（MPS 设备）上对小型神经网络做基准测试，直观展示批处理的吞吐-延迟权衡：将 batch size 从 1 提升到 64，GPU 每秒可处理的请求数大幅增加——吞吐最高提升约 50 倍，而单批延迟仅增长约 24%。结果表明加大 batch 能显著提高 GPU 利用率与整体吞吐，代价是单个批次完成时间略有拉长。

2026-10-23 ~ 2026-10-23 · 2 条相关

• PyTorch 实测:批量从 1 加到 64,吞吐升 50 倍延迟仅增 24% — cneuralnetwork · 2026-10-23
• 实测 PyTorch 发现：加大 batch 提升 GPU 吞吐却拖慢单次请求 — knowsurfate · 2026-10-23