FreeStyle：双参考图像生成
机器之心 · wechat · 2026-07-17
这篇文章介绍了图像生成论文 **FreeStyle**，聚焦“内容参考图 + 风格参考图”的双参考生成任务。 文章指出，这类任务的难点在于**内容泄漏**：模型在学习风格时，容易把风格图里的主体、场景、局部细节也一起复制过去。为此，作者提出了从社区 LoRA 中挖掘数据的管线：先筛选可用的内容 LoRA 和风格 LoRA，再通过生成、验证和组合，构建两类训练数据——约 61.9 万条的 SRef 风格参考数据，以及约 48 万条的 CRef+SRef 双参考数据，覆盖大量风格类别。 在方法上，FreeStyle 采用两阶段训练：第一阶段针对风格参考生成，引入 **attention-level enrichment constraint** 来抑制风格图中的内容泄漏；第二阶段针对内容-风格双参考生成，引入 **frequency-aware RoPE modulation**，减少风格图与输出图之间的局部 patch 级对应，从而降低复制具体内容的风险。文章还构建了 benchmark，从风格一致性、内容一致性、指令遵循、美学质量和泄漏程度等维度评估，并给出了项目代码、数据集和模型权重。