LoRA 训练何时停更合适

ostrisai · x · 2026-07-20

这条帖子在讲 LoRA 训练里“什么时候该停”。作者认为,直觉上不该追到最低点,而是要适度过拟合;以自己的经验,大约在 3k steps 左右比较合适。

他还提到可以在 AI Toolkit 里加入验证集和 validation loss 曲线来辅助判断。示例是一个只用 19 张图、其中 1 张做验证 的角色 LoRA 训练,这样损失曲线才真正有参考价值,能看出模型是否已经越过“合适但不过头”的区间。

所属事件:AI Toolkit更新验证损失曲线并探讨LoRA训练策略(2 条相关)→

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →