Datalab's Vik Paruchuri Audits OCR Benchmarks and Introduces OmniParseBench
Datalab 创始人 Vik Paruchuri 于 11 月 20 日连续发文,系统阐述对文档解析/OCR 基准乱象的看法,并发布自建基准 OmniParseBench。他指出现有基准多由想拿第一的厂商搭建,「每周都有新 OCR 模型 SOTA」的宣称难以互相比较,结果就是「人人都是第一名」,单看分数无法选型。他建议用户尽量在自己的数据上搭建自有评测。
已确认
- Paruchuri 对 15 个文档解析基准做了审计式横评,按四个维度打分(满分 100):正确阅读 50 分、对各解析器公平 25 分、可实际运行 15 分、能区分解析器差异 10 分。结果是 OmniParseBench 以 87.2 分居首。
- 审计结论之一:olmOCR-bench 已饱和。Datalab 已使用一年,认为其设计不错(单元测试式)。
- 他发布长文解释自建 OmniParseBench 的动机与做法,并公开了其 OCR 评测演讲的完整文字版(约 25 分钟内容加详细补充,载于 Datalab 博客)。
- 他给出快速核查任意基准的 7 条清单,包括:谁搭建的基准、搭建者自己是否排第一;只改输出格式等变量后结果是否稳定等。
为什么重要
- 基准测试难度高,连专家也容易踩坑;厂商自建榜单自评第一的现象使外部用户难以判断模型优劣,这份审计与清单提供了可操作的核查方法。
- 值得注意的局限:横评打分体系由 Paruchuri 本人设计,且其自家产品在自家榜单上排名第一,读者应按其自己提出的核查原则审视这一结果。
2026-11-20 ~ 2026-11-20 · 5 related posts
Primary sources
- Datalab shows ParseBench is gameable: a 650M model hit near the top with a few RL steps — VikParuchuri ·
- Auditing 15 document-parsing benchmarks: OmniParseBench scores 87.2, XDocParse just 5 — VikParuchuri ·
- Datalab's 25-min OCR eval guide: why 'everyone is #1' and how to benchmark on your own documents — VikParuchuri ·
- Datalab CEO on benchmark gaming: a 7-point checklist to audit any OCR leaderboard claim — VikParuchuri · 2026-11-20
- Most benchmarks are made by vendors chasing #1 — how to stress-test them yourself — VikParuchuri · 2026-11-20
- [source] Auditing 15 document-parsing benchmarks: OmniParseBench scores 87.2, XDocParse just 5 — VikParuchuri · 2026-11-20
- [source] Datalab shows ParseBench is gameable: a 650M model hit near the top with a few RL steps — VikParuchuri · 2026-11-20
- [source] Datalab's 25-min OCR eval guide: why 'everyone is #1' and how to benchmark on your own documents — VikParuchuri · 2026-11-20