QLoRA默认学习率对小数据集偏高
Pretty-Ad774 · reddit · 2026-07-16
作者认为，QLoRA 教程里广泛默认的 **2e-4 学习率** 在小数据集上可能是个坑，尤其是 **1 万条以下** 的场景。 他给出的实际观察是： - 很多教程和例子都沿用 2e-4，但这来源于 Alpaca 的 52k 样本规模 - 在 5k～10k 自有标注数据上，模型很容易在第一轮就过拟合 - 训练 loss 看起来持续下降，但验证集 loss 不动甚至变差 - 自己把学习率降到 1e-4，并把 epoch 从 3 提到 5 后，验证效果明显提升 他的结论是： - **30k 以上**，2e-4 大概率还能用 - **10k 以下**，建议从 1e-4 或更低开始，并认真调 epoch - 介于中间的区间，不要照抄默认值，应该实际调参 他也表示，如果有人有真正支持“小数据仍然固定用 2e-4”的研究，自己很想读。