Datalab 长文揭露 OCR 基准水分:五分钟识破“人人第一”

Datalab 创始人 Vik Paruchuri 指出,几乎每周都有新 OCR 模型宣称在基准上取得 SOTA,而这些基准往往由模型作者自建,导致“人人都是第一”。他发布长文《Everyone is #1》介绍五分钟内检查任意 OCR 基准、并评测自有文档的方法,并揭示部分基准为其他厂商配置了更差的默认设置或存在重大 bug——例如在 LlamaIndex 的 ExtractBench 上,修复适配器后分数从 64.5% 跳升至 93.6%。

2026-11-14 ~ 2026-11-14 · 3 条相关