DiSReg 新 LoRA 训练法：用自正则化消除触发词外的标签污染
bdsqlsz · x · 2026-09-06
hakomikan 在 TrainTrain 中新增了一种名为 DiSReg（Differential Self-Regulation）的 LoRA 训练方法，目标是解决老问题：训练角色 LoRA 时，1girl、solo 等伴随标签也被学进去，导致不写触发词角色也会被激活，多角色混用时尤其麻烦。
核心思路
- 传统正则化图片做法效果有限，因为模型实际还在学习正则化图片，无法真正“抵消”错误学习。
- DiSReg 在常规训练步之后插入一个自正则化步：以无触发词条件分别用“有 LoRA / 无 LoRA”的模型做噪声预测，用 stop-gradient 约束两者一致，直接把触发词之外的学到的偏移回滚为零。
- 作者称该方法的正则化误差可以严格为零，相当于明确告诉模型“把这些标签的变化撤销”，而不是靠看自己的生成图绕远路修正。
文中给出了角色学习与自正则化步骤的损失函数公式，并已实现进 TrainTrain 仓库，适合做角色/风格 LoRA、需要精确触发词控制的训练者参考。
「多模态」频道最新
- 单色高调人像摄影 Prompt 分享：黑白极简剪影风 — azed_ai · 2026-09-06
- 导演丹尼·博伊尔用 AI 只做 30 秒镜头，划出使用边界 — taherdhanera · 2026-09-06
- Google WeatherNext 3 弃物理模拟,直接学卫星数据做预报 — The Decoder · 2026-09-06
- MiniMax 推 H3 Max Director：实时可控视频流，每秒最低 0.02 美元 — isidentical · 2026-09-06
- 用 3D 建模替代逐像素扩散，astra 宣称开启视频生成新范式 — IndraVahan · 2026-09-06
- 4 秒生成 10 秒视频：Yoroll 开源 H3 后上线永不停播的 AI 直播 YoLive — vista8 · 2026-09-06