Datalab 发布 OmniParseBench 并审计 15 个文档解析基准乱象
Datalab 创始人 Vik Paruchuri 于 11 月 20 日连续发文,系统阐述对文档解析/OCR 基准乱象的看法,并发布自建基准 OmniParseBench。他指出现有基准多由想拿第一的厂商搭建,「每周都有新 OCR 模型 SOTA」的宣称难以互相比较,结果就是「人人都是第一名」,单看分数无法选型。他建议用户尽量在自己的数据上搭建自有评测。
已确认
- Paruchuri 对 15 个文档解析基准做了审计式横评,按四个维度打分(满分 100):正确阅读 50 分、对各解析器公平 25 分、可实际运行 15 分、能区分解析器差异 10 分。结果是 OmniParseBench 以 87.2 分居首。
- 审计结论之一:olmOCR-bench 已饱和。Datalab 已使用一年,认为其设计不错(单元测试式)。
- 他发布长文解释自建 OmniParseBench 的动机与做法,并公开了其 OCR 评测演讲的完整文字版(约 25 分钟内容加详细补充,载于 Datalab 博客)。
- 他给出快速核查任意基准的 7 条清单,包括:谁搭建的基准、搭建者自己是否排第一;只改输出格式等变量后结果是否稳定等。
为什么重要
- 基准测试难度高,连专家也容易踩坑;厂商自建榜单自评第一的现象使外部用户难以判断模型优劣,这份审计与清单提供了可操作的核查方法。
- 值得注意的局限:横评打分体系由 Paruchuri 本人设计,且其自家产品在自家榜单上排名第一,读者应按其自己提出的核查原则审视这一结果。
2026-11-20 ~ 2026-11-20 · 5 条相关
一手来源
- Datalab 自曝旧基准失效:650M 模型几步 RL 即登顶 ParseBench — VikParuchuri ·
- 15 个文档解析基准横评:OmniParseBench 得分 87.2 居首 — VikParuchuri ·
- Datalab 长文:人人都是 OCR 榜单第一,如何给自己的文档做真实评测 — VikParuchuri ·
- Datalab CEO 详解 OCR 基准乱象:人人都是第一名的七条核查清单 — VikParuchuri · 2026-11-20
- Datalab CEO:多数榜单是厂商冲第一的工具,教你自查基准 — VikParuchuri · 2026-11-20
- 【源头】15 个文档解析基准横评:OmniParseBench 得分 87.2 居首 — VikParuchuri · 2026-11-20
- 【源头】Datalab 自曝旧基准失效:650M 模型几步 RL 即登顶 ParseBench — VikParuchuri · 2026-11-20
- 【源头】Datalab 长文:人人都是 OCR 榜单第一,如何给自己的文档做真实评测 — VikParuchuri · 2026-11-20