AI Toolkit更新验证损失曲线并探讨LoRA训练策略

AI Toolkit 近期更新了验证损失曲线,使训练面板能同时监控学习率、训练损失和验证损失。配合该功能,开发者探讨了 LoRA 训练的停止时机,认为不应盲目追求损失最低点,而应保持适度过拟合。结合实验经验,大约在 3000 步左右停止训练往往能取得更理想的效果。

2026-07-20 ~ 2026-07-20 · 2 条相关