Datalab 实测 15 个文档解析基准：约半数排名与真实错误率脱节
VikParuchuri · x · 2026-11-05
Datalab（Marker/olmOCR 团队）发布研究，检验 15 个文档解析基准的可信度：用 7 个开源模型跑遍 13 个公开基准，再由 3 个评审模型统计每份输出的真实错误数，看基准排名是否与真实错误排序一致。
主要发现：
- 约 13 个可跑的基准中仅 7 个排名可靠（agreement 90% 区间下限 ≥0.70），接近一半基准的排名与真实错误率脱节，有的仅 21 对模型中答对 12-13 对，接近抛硬币。
- olmOCR-bench 虽设计不错但测试稀疏：olmOCR-2 在 200 页中的 119 页拿满分，其中 68 页评审发现真实错误；其 header 规则还偏向省略页眉的模型。
- 格式差异能压过阅读质量本身：DP-Bench 中美化表格 HTML 让表格分掉 38 分；IDP Leaderboard 里正确转写外加代码围栏就从 100 掉到 33.5；OmniDocBench v1.5 缺 scikit-image 时所有公式计 0 分且不报错；PaddleOCR-VL-1.6 输出转换格式后 OCRFlux-Bench 分数从 61.2 升到 86.1。
结论：多数基准过度看重格式、低估 OCR 质量；作者建议务必自己在候选解析器上跑评测，而非依赖混合了不同日期/设置的公开排行榜。分数、评审结果与 rubric 均已开源。利益声明：Datalab 自建 OmniParseBench 并售卖解析器。
所属事件:Datalab 实测 15 个文档解析基准，半数排名失真(2 条相关)→
「模型」频道最新
- Grok API 大面积不稳:开发者晒监控,错误率高达 13.58% — ChrisUniverse · 2026-11-05
- Ramp 自研模型金融问答胜 Opus，万名 Agent 集体渗透自测 — AI Engineer · 2026-11-05
- Vals AI 实测：七个前沿模型低档推理可保 80% 成绩、成本减半 — ZacharyHuang12 · 2026-11-05
- 让中国模型在帆船模拟器里和 Astra 竞速：差距一目了然 — shekitup · 2026-11-05
- Reddit 用户自测:Qwen3 30B-A3B 推理力明显强于同尺寸 Gemma — Robert__Sinclair · 2026-11-05
- Airbnb 实测:微调 2B 小模型分类质量追平前沿 API,成本仅 1% — Ahmad_Al_Dahle · 2026-11-05