每周都有新 SOTA？Vik Paruchuri 教你 5 分钟识破 OCR 基准水分

VikParuchuri · x · 2026-11-14

Datalab 创始人 Vik Paruchuri 表示，每周都有新 OCR 模型宣称在某个基准上 SOTA，而那个基准往往就是模型作者自己做的，所以「人人都是第一」。他在 Hamel Husain 的 AI Evals 课上分享了如何识别有缺陷的 OCR 基准：常见问题、识别方法与完整评测指南。

配套长文《Everyone is #1》涵盖：如何解读基准分数并快速排查坏基准；哪些 OCR 指标有效、哪些会失真及原因（如布局评分中框宽 3pt 就能丢 12 分）；以及在自有文档上跑评测的分步流程（以年报实测为例）。还给出 5 分钟检查清单：谁做的基准、换格式是否影响分数、能否复现、是否有厂商专属 prompt 等。