LoRA 训练实测：大 Batch 比 Gradient Accumulation 快 17%

traceml-ai · reddit · 2026-08-18

作者在单张 T4 上使用 Qwen3-1.7B 进行 LoRA 训练，对比了相同有效 Batch Size 下不同配置的实际运行时间。结果显示，Batch Size 4 × Accumulation 1 的配置比 Batch Size 1 × Accumulation 4 快约 49 秒（GPU 步进时间降低 17%），尽管显存占用略有增加。实验指出梯度累积虽能解决显存不足问题，但会牺牲训练速度。作者提供了可复现的 Colab 链接，并邀请在其他显卡（L4, A10, A100）上进行验证。