OCR 模型实测：评测口径不同排名完全反转
vanstriendaniel · x · 2026-07-08
作者在 Allen AI 的 olmOCR-bench "old scans" 子集上跑测了 10 款较新的 OCR 模型，发现排名取决于评测口径：按总分 PaddleOCR-VL 超过 NuExtract3（38.6 vs 37.8），但按"实际读取页面内容的比例"排名则 NuExtract3 大幅领先（41.6 vs 31.2），同一两款模型出现相反名次。作者认为原因在于评测打分会奖励丢弃抬头、印章、页码等模板信息的行为，于是更忠实读取页面的模型反而可能排名更低；这可能与许多 VLM 类 OCR 模型本是为生成训练 token 而设计有关。