Real In, Real Out: What If We Only Use Real Data for Scene Text Editing?
Xingsong Ye, Yongkun Du, Jiaxin Zhang, Chong Sun, Zhineng Chen
NeurIPS 2026
cs.CV
2026-10-20
TextRIRO 把真实文字图按字列打乱再裁切,做成自配对,用条件扩散学改字。变长准确率 47.6%,此前约 12%;拼出的长文本数据把识别整体提高 1.91 个百分点。
场景文字编辑(Scene Text Editing, STE)要换掉图里的字,并留下颜色、纹理、光照、笔画和透视。真实拍摄几乎没有「同一背景、不同文字」的配对,训练因此长期靠渲染工具合成。
以 SRNet 为代表的两阶段模型先拆前景和背景再融回去,源字经常擦不净。以 TextCtrl 为代表的隐式解耦用预训练特征直接出图,容易漏字、错字。MOSTEL 和 RS-STE 用擦除后写回或反向自监督掺入真实图,合成样本仍是主体,成图常带合成痕迹,风格也容易错位。AnyText、TextSSR 把改字做成 inpainting,旁边没有相近风格时,笔画补不回来。
风格多半在低层像素里,语义是字符的排列顺序。把顺序打掉、像素留下,一张真实图就可以给自己当监督。
TextRIRO(Real In, Real Out)是条件扩散模型,训练只使用真实场景文字图。单位是复旦大学可信具身智能研究所、上海多模态具身智能重点实验室与腾讯微信视觉,收于 NeurIPS 2026。
带标签的真实图沿长边按字符数 L 切成等宽的 L 列,以一定概率打乱列的顺序,再连续裁出至多 L 列,得到伪源图。伪源图配上原来的图,就是自配对:同一张真实图既提供风格,又提供重建目标。网络要凭伪源图和原标签把原图重建出来。推理时,伪源图换成待改的图,标签换成新字符串。
打乱列切断横排顺序,列内颜色和笔画留着,适合直线文本。倾斜和弧度在连续局部里,所以再裁一块。Mask 毁掉风格,大块重排带偏分布。完全不扰动时,字准掉到 4.37%,模型只是把输入抄回去。
风格用 ViT 加空间金字塔,经 ControlNet 旁路注入 U-Net。ControlNet 把空间条件送进扩散网络。文字编码器在真实场景文字上做自回归预训练,对应场景文字识别(STR,把图中的字读成字符串)。扩散训练时它与 VAE 冻结,更新的是风格编码器和 U-Net。输入 64×256,避免正方形压扁字形,VAE 为 SD 2.1。同一数据上的 OminiControl 版字准 52.89%(FID 39.65),ControlNet 版 85.23%(FID 41.53)。token 级条件守不住笔画。
编辑结果仍会写错,不能单独当作识别训练集。TextRIRO-3M 从 U14M-Filter 取真实图,生成等长、内容不同的编辑图,用另一套真实数据上的 STR 过滤,只留读对目标串的样本,再与原图拼接,序列加长一倍,规模 300 万。
ScenePair 用官方识别器 TRBA。FID 越低越像真实图,NED 越高越贴近目标串。TextRIRO 的 FID 在表中最低,字准距真实图 3.21 个点。
| 方法 | 字准 | NED | FID |
| TextRIRO | 85.23% | 0.964 | 41.53 |
| RS-STE | 91.80% | 0.981 | 49.59 |
| TextCtrl | 84.67% | 0.936 | 43.78 |
| TextSSR | 79.69% | 0.924 | 45.37 |
| Flux.1 Kontext | 12.81% | 0.460 | 41.59 |
| Qwen-Image-Edit | 53.16% | 0.825 | 49.91 |
| 真实图上界 | 88.44% | 0.974 | 0 |
RS-STE 的字准和 NED 超过真实图上界,FID 比 TextRIRO 高 8.06,更偏向识别器读得对的外观。Flux.1 Kontext 的 FID 为 41.59,与 TextRIRO 只差 0.06,字准 12.81%。换 SVTRv2 和 PPOCR-v6,TextRIRO 为 85.86% 和 86.25%,上界 88.67% 和 89.14%,RS-STE 仍超过上界。
RIROCommon 用 SVTRv2 做等长和变长两种替换。平均字准 TextRIRO 79.31% / 47.64%,TextCtrl 70.67% / 11.98%,RS-STE 60.24% / 11.73%。等长比 RS-STE 高 19.07 个点,变长差距更大。CUTE 等长只有 64.87%。
编辑图拿去训识别器,看它们能不能当数据。平均字准 TextRIRO 86.67%,RS-STE 76.89%,TextCtrl 75.99%,真实数据 96.77%。比次优高 9.78 个点,不规则子集高 11.69 个点(82.56% 对 70.87%),距真实数据 10.10 个点。
消融里,文字编码器不预训练时字准 9.38%;STR 预训练、64×256、SD 2.1 时为 82.42%,FID 43.59。只打乱 45.78%,只裁切 80.08%,Mask 13.13%,Block 79.36%。不扰动时字准 4.37%,FID 33.28,图更近,字是错的。直线 IC13 上组合 80.16% 最高;CUTE 上只裁切 60.93%,高于组合 58.42%;SVTP 上只裁切 69.76%,高于组合 68.84%。主表 85.23% 和消融这行 82.42% 对不齐,差额来源没有写明。
MAERec 只训 322 万张 U14M-Filter,Union14M 平均 86.09%,多词 86.89%。混入 100 万条拼接样本后平均 87.98%(+1.89),多词 89.08%(+2.19)。300 万时平均 88.00%(+1.91),多词 90.17%(+3.28)。常规基准平均只到 96.98%(+0.21),IIIT 降 0.10。MJ、ST、MOSTEL、TextCtrl、RS-STE 都更低,最近的 TextSSR 为 87.85%,只差 0.13。Real-Concat 为 87.33%。SVTRv2-S 在 300 万混训下,Union14M 平均 +1.34,多词 +2.30。
等长从 TextCtrl 的 70.67% 到 79.31%,是稳步提高。变长从约 12% 到 47.64%,长度改变后写对的比例高了一截,和训练时裁到过不同长度有关。
常规识别集已经很满,增益在 Union14M 的多词和艺术字,不在接近 99% 的 IIIT。风格对齐的拼接优于无关真实图硬接,100 万规模是 87.98% 对 87.33%。骨干可以替换,训练集不再以合成三元组为主。
多语言数据少,实验主要在英文,低资源多语言编辑没有做。错样本会漏进训练集。编辑图单独训识别器,仍比等量真实数据低 10.10 个点。
ScenePair 字准和 NED 上,RS-STE 更高,三个识别器也都超过真实图。只拿这项字准说领先,并不成立。变长 47.64% 里失败过半。CUTE 等长 64.87%,弯曲文本更难。弯曲和多方向上只裁切更好,组合的好处在直线文本。
+1.91 与 +3.28 个点只属于 MAERec 的 300 万设置、Union14M 总体和多词。常规基准几乎不动,IIIT 还下降。Real-Concat 已从 86.09% 到 87.33%,TextRIRO 到 87.98%。TextSSR 只低 0.13。长度变长贡献了一大截,和最强的编辑合成基线贴得很近。
没有人工偏好实验。FID 相差 0.06 时,字准可以差七十多个点。通用模型只用固定提示「Edit the text to 'Ttgt'」,分数可能偏低。切列假设文字沿长边、标签长度正确,竖排、粘连、错标都会切错。打乱概率正文没有给数值。