Datalab 详解 OCR「文字系统混淆」并用新训练法将错误降低 7 倍
VikParuchuri · x · 2026-10-16
Vik Paruchuri 汇总帖，附 Datalab 博客全文。核心内容：
- 现象：OCR 模型偶发「script confusions」——输出的词义或读音正确但书写系统错误，如赞美诗 "For every vain and idle thought" 被写成 "For every罪 and evil thought"；芬兰语 LEPPÄVIRRAN 结尾冒出阿拉伯字母 ران；Tarjoamme 结尾变成希腊字母 ουμεν
- 危害：发生率极低（不到百分之几的页面）但极难发现，编辑距离指标几乎不变，全文搜索正确词也搜不到
- 波及面：Gemini 3.8 Flash 与 Claude Opus 5.5 等前沿模型同样存在
- 成因推测：模型内部不同文字系统的同义词 embedding 几乎相同
- 修复：Chandra 2.5 采用新训练技术，在困难测试集上文字系统混淆比 Chandra OCR 2.4 减少 7 倍，也优于两大前沿模型，现已上线 API
所属事件:Chandra OCR 2.5 新训练法将文字混淆错误降低 7 倍(2 条相关)→
「模型」频道最新
- NVIDIA 发布 120B 视觉语言模型 Nemotron 3.5 Super VL，已上线 Kilo — anacondainc · 2026-10-17
- Artificial Analysis Optima 支持三步自建自定义模型基准 — ArtificialAnlys · 2026-10-16
- 斯坦福 CS336 讲义拆解 MoE 参数与计算的两本账 — stanfordnlp · 2026-10-16
- 408 次调用实测：TypeSafe 新晋模型 Jev 图像输入表现报告 — SeveralSeat2176 · 2026-10-16
- Chandra 2.5 用新训练法将文字混淆减少 7 倍，低于 Gemini 与 Claude — VikParuchuri · 2026-10-16
- Datalab 实测：Gemini Flash 3.8 与 Claude Opus 5.5 同样输出错文字系统 — VikParuchuri · 2026-10-16