把汉字拆成部件再打分，复旦用 IDS 奖励提升文生图中文渲染

Decompose Radicals, Then Reward: Fine-Grained Inspection for Accurate Chinese Text Rendering

Yazhen Xie, Xingsong Ye, Zhineng Chen

cs.CV

2026-09-29

把汉字拆成部件 token、对齐目标 IDS 算 F1 作 GRPO 奖励，Qwen-Image 中文渲染结构质量 0.979,超过 OCR 与 TextPecker 奖励。

这篇在解决什么

文生图画英文已经基本可用，画中文仍是重灾区。汉字由可复用部件按左右、上下、包围等空间关系拼成，出错时常是只坏一个部件、或部件排错位置，整字「像」却不对。主流修法是 RL 后训练：用 OCR 把生成图转写回文本、与目标文本算相似度当奖励。这个奖励把汉字当原子符号，整字要么对要么错，修好半个字分数不动，优化就没有方向；反过来 MLLM 级 OCR 还能靠上下文猜回目标字，字形坏了照样拿满分。论文图 1 里同一个坏字，专家 OCR 给 0.00,MLLM 给 1.00(假阳性)，结构感知的评测器 TextPecker 把它标成「#」也是 0.00,三种奖励都答不出「错得多严重」。IDSpect 对这个字给 0.22,对了一部分的部件拿到了分。

方法

IDSpect 不动生成器，重造奖励，分四步：

• 目标表示：IDS(表意文字描述序列)把汉字表示成树，内部节点是空间算子、叶子是部件，可展平成 token 序列。用 Unicode 16.0 的 BabelStone 词表递归分解 GB 18030-2022 覆盖的汉字，深度上限 10、序列上限 100 token,目标文本的 IDS 离线确定性算出。
• IDS 识别器：场景文本识别 SOTA 骨干 SVTRv2 做编码器，接 NRTR 式 Transformer 解码器，从文本裁剪图直接自回归输出 IDS 序列，不经过「先认字再分解」。训练集 IDSynth-1M 用 UnionST 引擎渲染 100 万张图，字符近似均匀采样。这是关键设计：自然语料里高频字占绝对多数，模型会走捷径，先认出是个常用字、再背出它的标准 IDS,输出根本不看图；均匀采样加随机组合切断语言先验，逼模型从像素里读部件。
• 结构奖励：检测器抠出各文本区域，识别器逐区域预测 IDS,与目标 IDS 做半全局编辑对齐，经 NMS 去重和全局指派，每个目标 token 至多得一次分，奖励因此对检测框顺序不敏感，取 token 级 F1。
• 融合：总奖励 = 0.5×语义项(OCR 转写与目标的编辑相似度)+ 0.5×IDS 项，用 GRPO(组相对策略优化)后训练框架 Flow-GRPO 训 Qwen-Image 的 LoRA(r=64)。图 2 的例子里一个字整字识别错，语义项 0,部件对了三分之二，IDS 项 0.667,融合 0.334。两个分支训练完即弃，推理零开销。

结果

Qua 是结构质量，Sem 是语义对齐，均按 TextPecker 协议评。IDSpect 拿下四项 Qua/Sem 全部最高：GenTextEval 上比 OCR 奖励 Qua +0.026、Sem +0.037,比 TextPecker +0.006、+0.014;LongText 原始文本分 0.972,略低于 TextPecker 的 0.974。

消融最有信息量的一行：拿 OCR 自己预测的 IDS 当参考(只求结构自洽、不对照目标)，Qua 冲到 0.980 但 Sem 只有 0.901;拿目标 IDS 做逐区域对齐是 0.979/0.911。结构奖励必须锚定目标文本，否则模型学会的只是画「自洽的字」。

为什么重要

这是奖励设计论文，不是新架构。对跑文生图后训练的团队结论直接可用：中文渲染的 RL 奖励值得从字符级换到部件级，只改奖励函数，生成器不动，推理零开销，四项结构语义指标一致为正。IDSynth-1M 的均匀采样思路对任何「必须看像素、不许背先验」的识别器训练都适用；日文、韩文同样有构件结构，这条路线可以平移，作者也把它列为未来工作。

诚实说，相对 TextPecker 的提升是渐进的(+0.0060.014);GenTextEval 语义分从 0.810 到 0.874 的大头来自「做 GRPO」本身。这篇的净贡献是把「部分正确」变成了可优化的信号。

局限与存疑

• Qua/Sem 用的正是 TextPecker 的评测协议，基线之一兼任裁判；原始 benchmark 分数有并列报告，排名对这套协议的依赖仍偏重。
• IDS 识别器只在合成数据上训练，在真实生成图上的识别精度没有单独报告，奖励噪声多大无从判断。
• 字符覆盖依赖 BabelStone 对 GB 18030-2022 的分解，深度 10、100 token 封顶；结论自己把「更广覆盖、日韩文字」列为未来工作，等于承认当前覆盖不全。
• 只在 Qwen-Image 一个底座上验证，换模型是否同样有效未知。
• LongText 原始文本分 0.972 输给 TextPecker 的 0.974,细粒度奖励没有全胜。

术语

• IDS:表意文字描述序列，Unicode 标准，用空间算子和部件把汉字拆成树、可展平为 token。
• 部件(radical):汉字可复用的构字组件，「明」由「日」「月」左右拼成。
• GRPO:组相对策略优化，同一提示采样一组输出、按组内相对优势更新策略。
• TextPecker:结构感知的视觉文字评测器，把写错的字标成「#」,也被当作 RL 奖励。
• Flow-GRPO:把 GRPO 推广到 flow matching 扩散模型的后训练框架。
• SVTRv2:场景文本识别的 SOTA 视觉骨干，在这里当 IDS 识别器的编码器。

原文与代码

• arXiv 2609.37569v1
• PDF
• Hugging Face

相关论文

• LLM 出规划、代码造世界:3D 地图无限扩展,重访不丢编辑
• 四分之一高斯仍超 F4 Splat，2K 显存降 9.6 倍
• 视频深研报告评测最高 63.3 分，事实覆盖通过率仅 7.6%
• FilmFlow四个代理规划动态场景机位，盲测通过率84.3%
• 免训练指标 S² 离线预测机器人策略成功率，真机相关 0.83
• 8路720p重建2K体积视频,浙大RealMe改FLUX

全部论文解读