LoRA 训练新玩法:只靠激活词训练,推理时再补长 caption

Inevitable_Pen9043 · reddit · 2026-11-20

作者分享一次有趣的实验:1)只用一个激活词(不用 caption)训练 LoRA;2)取训练集中一张图用 JoyCaption 生成 caption;3)在推理时把这段 caption 作为输入。结果暗示:即使训练时完全不用 caption,模型可能仍学到了对应概念,可以在推理阶段用「事后 caption」来控制输出。

作者自己也不完全确定机理,但这个「post-caption」做法为图像 LoRA 的训练/推理分工提供了新思路:训练省去打标,推理时再用 caption 细化。

原文链接 →

「多模态」频道最新

更多「多模态」频道 AI 资讯 →