专题 · FULL STORY

VLM 文字系统混淆:从发现到修复

Datalab 创始人 Vik Paruchuri 披露 VLM 做 OCR 时的「文字系统混淆」问题,多个前沿模型均会输出词义或读音正确但书写系统错误的文字。随后 Datalab 发布 Chandra OCR 2.5,以新训练方法将该错误率降低约 7 倍。

2026-10-16 ~ 2026-10-16 · 2 集 · 7 条

第 1 集 · VLM OCR 出现文字系统混淆，前沿模型全中招(2026-10-16,5 条)

Datalab 创始人 Vik Paruchuri 于 10 月 16 日发布调查线程，研究 VLM 做 OCR 时的一种罕见错误——「文字系统混淆」（script confusion）：模型输出的词义或读音正确，却用错了书写系统。典型例子是赞美诗页面上无法辨认的英文单词 vain 被模型输出成汉字「罪」，恰好是 vain 的中文对应词。

已确认

  • Paruchuri 团队给出的最佳解释：模型内部，不同书写系统中同义的词的嵌入几乎相同，例如「cruel」与「残酷」在向量空间中非常接近，Chandra OCR 2 模型在约 5.3（推测为层号/维度位置，帖子材料仅给出数字）处可见这种重合现象。
  • 当页面字迹难辨、证据不足时，模型的语言先验会压过页面证据，于是在错误位置上输出另一个文字系统中的同义词。
  • Paruchuri 对多个模型逐一测试后确认，这种「词对但字母表错」的混淆在所有被测模型中都出现过，包括 Gemini Flash 3.8 和 Claude Opus 5.5。

为什么重要

  • 该现象不是单一模型的缺陷，而是跨模型普遍存在，指向 VLM 内部表示的共性机制：语义嵌入对书写系统不够敏感。
  • 对高保真 OCR 场景（古籍、手写、低质量扫描件）而言，理解这类错误的成因是改进模型的关键线索。

第 2 集 · Chandra OCR 2.5 新训练法将文字混淆错误降低 7 倍(2026-10-16,2 条)

Datalab 发布 Chandra OCR 2.5，用一种新训练技术修复了 VLM 的「文字系统混淆」问题——即模型在不确定页面内容时，输出词义或读音正确但书写系统错误的词。创始人 Vik Paruchuri 在汇总帖中详解了该现象并附博客全文，称新方法将此类错误减少 7 倍，表现优于 Gemini 与 Claude。