LoRA 训练新玩法:只靠激活词训练,推理时再补长 caption
Inevitable_Pen9043 · reddit · 2026-11-20
作者分享一次有趣的实验:1)只用一个激活词(不用 caption)训练 LoRA;2)取训练集中一张图用 JoyCaption 生成 caption;3)在推理时把这段 caption 作为输入。结果暗示:即使训练时完全不用 caption,模型可能仍学到了对应概念,可以在推理阶段用「事后 caption」来控制输出。
作者自己也不完全确定机理,但这个「post-caption」做法为图像 LoRA 的训练/推理分工提供了新思路:训练省去打标,推理时再用 caption 细化。
「多模态」频道最新
- Stability 研究团队提出 PMD 蒸馏:匹配倾斜均值即可锁定教师后验 — ArashVahdat · 2026-11-21
- Qwen3 TTS 上线 Together AI:9 种声音、自然语言控语气、10 语言同声 — togethercompute · 2026-11-21
- 3DGS 对比点云渲染效果出色,下一步做碰撞表面重建 — jonstephens85 · 2026-11-21
- AI 视频展示 25+ 名人整形前后对比,被称年度最佳 — evisoft · 2026-11-21
- 受《理解漫画》启发的极简到写实人像过渡动画 demo — round · 2026-11-21
- Midjourney 风格码实拍感演示:蜘蛛侠照片级虚化质感 — sergeantsref · 2026-11-21