复旦 IDSpect:按偏旁部首拆字给奖励,提升中文文字生成结构准确率
Fudan-University · hf · 2026-10-01
- 文生图模型渲染准确中文仍是难题:现有基于 OCR 的 RL 奖励把每个汉字当原子比较,无法区分偏旁级别的结构错误,模型只需「形似」即可得分。
- 复旦提出 IDSpect:用 Ideographic Description Sequence(IDS,含空间算子与部件)表示汉字结构,训练专家 IDS 识别器把渲染文本转录为 IDS token;奖励时将目标文本确定性分解为 IDS 序列,与裁剪区域的视觉 IDS 预测对齐,配合整字语义奖励提供部件级+空间关系细粒度 credit。
- 不改动图像生成器、不增加推理开销;用于 Qwen-Image 的 GRPO 后训练,在 LongText 和 GenTextEval 上取得领先的结构质量与语义对齐成绩。
「多模态」频道最新
- 不会画画的开发者用 Fable 5.2 四小时做出 14 章手绘风故事书游戏 — jradoff · 2026-11-16
- Seedance 生成地铁车厢动画片段,光影细节惊到 Reddit 网友 — Ok-Solution-7889 · 2026-11-16
- 推主用 AI 重制 1977 版《黑衣人》风格画面 — techhalla · 2026-11-16
- 3.5 亿人说的 Hinglish:Sarvam 模型打通印地英语语音 agent — itsOmSarraf_ · 2026-11-16
- 博主实测 Dreamina Marketing Studio:用 Seedream 5.0 Pro 一键生成产品广告 — socialwithaayan · 2026-11-16
- GitHub 热门设计 skill 作者揭秘:靠评审循环而非 prompt 做出好设计 — PrajwalTomar_ · 2026-11-16