kalomaze 实测 LoRA 微调:第 3 个 epoch 起出现过拟合

知名开源研究者 kalomaze 公布了一组 8B 模型 LoRA 微调的实证结果,基于约 90M token 可训练数据对比不同训练 regime 的 eval loss 曲线。实验显示,两个训练阶段各跑 3 个 epoch 后通常开始出现轻微过拟合。此外,对比方案包括用全量数据训练 1 个 epoch 与选用同混合中最优数据的约 30M token 子集,结论是多 epoch 训练配合 WSD 衰减策略效果最好。

2026-10-31 ~ 2026-10-31 · 3 条相关

• kalomaze 公开 LoRA 微调实验：多 epoch 配 WSD 衰减效果最好 — kalomaze · 2026-10-31
• kalomaze 实测:LoRA 微调第 3 个 epoch 起出现过拟合 — kalomaze · 2026-10-31
• 8B 模型微调实测:两个阶段各 3 个 epoch 开始轻微过拟合 — kalomaze · 2026-10-31