实测 PyTorch 发现：加大 batch 提升 GPU 吞吐却拖慢单次请求
knowsurfate · x · 2026-10-23
开发者在 PyTorch 上对小型神经网络做 benchmark，发现批处理的取舍规律：增大 batch size 能让 GPU 每秒处理更多请求，但单个批次的完成时间也会变长。原因是 GPU 为并行计算设计，小 batch 会留下大量算力空转，大 batch 则把算力填满。后续回复确认实验是在 RTX 4060 上跑的。这是吞吐量与延迟之间的经典权衡，适合做本地推理/服务部署时的参考直觉。