复旦 TextRIRO:只用真实数据自配对做场景文字编辑

Fudan-University · hf · 2026-10-22

复旦大学与腾讯微信视觉团队提出 TextRIRO,挑战场景文字编辑(STE)依赖合成配对数据与复杂解耦策略的惯例。方法思路:通过多种图像破坏方式(如 Crop、Shuffle、Mask)把每张真实图像变成自身的「前后配对」监督数据,再用条件扩散模型训练,全程只用真实数据。

该方式更好地保留自然场景的多样性与复杂性,减少伪影与幻觉,提升编辑真实感,并有助于下游文字识别任务。