VLM OCR 出现文字系统混淆，前沿模型全中招
Datalab 创始人 Vik Paruchuri 于 10 月 16 日发布调查线程，研究 VLM 做 OCR 时的一种罕见错误——「文字系统混淆」（script confusion）：模型输出的词义或读音正确，却用错了书写系统。典型例子是赞美诗页面上无法辨认的英文单词 vain 被模型输出成汉字「罪」，恰好是 vain 的中文对应词。
已确认
- Paruchuri 团队给出的最佳解释：模型内部，不同书写系统中同义的词的嵌入几乎相同，例如「cruel」与「残酷」在向量空间中非常接近，Chandra OCR 2 模型在约 5.3（推测为层号/维度位置，帖子材料仅给出数字）处可见这种重合现象。
- 当页面字迹难辨、证据不足时，模型的语言先验会压过页面证据，于是在错误位置上输出另一个文字系统中的同义词。
- Paruchuri 对多个模型逐一测试后确认，这种「词对但字母表错」的混淆在所有被测模型中都出现过，包括 Gemini Flash 3.8 和 Claude Opus 5.5。
为什么重要
- 该现象不是单一模型的缺陷，而是跨模型普遍存在，指向 VLM 内部表示的共性机制：语义嵌入对书写系统不够敏感。
- 对高保真 OCR 场景（古籍、手写、低质量扫描件）而言，理解这类错误的成因是改进模型的关键线索。
2026-10-16 ~ 2026-10-16 · 5 条相关
- 第 1 集:VLM OCR 出现文字系统混淆，前沿模型全中招(2026-10-16,5 条)
- 第 2 集:Chandra OCR 2.5 新训练法将文字混淆错误降低 7 倍(2026-10-16,2 条)
一手来源
- VLM 文字混淆根因：不同文字的同义词嵌入几乎重合 — VikParuchuri ·
- VLM 为何把英文页面的 vain 认成汉字「罪」？OCR 团队发文调查 — VikParuchuri ·
- Datalab 实测：Gemini Flash 3.8 与 Claude Opus 5.5 同样输出错文字系统 — VikParuchuri ·
- 【源头】VLM 为何把英文页面的 vain 认成汉字「罪」？OCR 团队发文调查 — VikParuchuri · 2026-10-16
- OCR 模型怪病「文字系统混淆」：词对字母错，前沿模型全中招 — VikParuchuri · 2026-10-16
- 【源头】Datalab 实测：Gemini Flash 3.8 与 Claude Opus 5.5 同样输出错文字系统 — VikParuchuri · 2026-10-16
- 「cruel」与「残酷」embedding 几乎重合：模型跨文字系统混淆的成因 — VikParuchuri · 2026-10-16
- 【源头】VLM 文字混淆根因：不同文字的同义词嵌入几乎重合 — VikParuchuri · 2026-10-16