Datalab 长文揭露 OCR 基准水分:五分钟识破“人人第一”
Datalab 创始人 Vik Paruchuri 指出,几乎每周都有新 OCR 模型宣称在基准上取得 SOTA,而这些基准往往由模型作者自建,导致“人人都是第一”。他发布长文《Everyone is #1》介绍五分钟内检查任意 OCR 基准、并评测自有文档的方法,并揭示部分基准为其他厂商配置了更差的默认设置或存在重大 bug——例如在 LlamaIndex 的 ExtractBench 上,修复适配器后分数从 64.5% 跳升至 93.6%。
2026-11-14 ~ 2026-11-14 · 3 条相关
- 每周都有新 SOTA?Vik Paruchuri 教你 5 分钟识破 OCR 基准水分 — VikParuchuri · 2026-11-14
- 修复适配器后分数从 64.5% 跳到 93.6%,OCR 基准缺陷实锤 — VikParuchuri · 2026-11-14
- Datalab 长文:如何 5 分钟检查任意 OCR 基准并评测自有文档 — VikParuchuri · 2026-11-14