LoRA 训练参数之争:sigmoid 还是 shift?新模型上屡翻车

Inevitable_Pen9043 · reddit · 2026-10-25

Reddit 用户在新模型(Qwen 2.1、MOSS 等)的 LoRA 训练中纠结调度参数选择:坊间说法是「sigmoid balanced」最好、唯一能学好人脸;但他给 MOSS 训的 LoRA 结果完全崩坏,而 sigmoid 在 Krea 2 和 Qwen 2.1 上正常。他提议是否应改用 shift,或先「shift balanced」再在训练末期切「shift low noise」。这是媒体生成模型社区在换底模后参数经验尚未沉淀的典型困惑,评论区的实践反馈值得关注。