OmniParseBench:Datalab 自曝家底的新 OCR 基准

第 1 集 · Datalab 发布 OmniParseBench：16288 项 OCR 测试自曝未登顶(2026-10-10,8 条)

Datalab（Marker 作者 Vik Paruchuri 团队）发布公开 OCR 基准 OmniParseBench：基于 2343 份文档的 2937 页构建 16288 项通过/失败式测试，覆盖 92 种语言，数据与打分代码全部开源，并主动披露自家产品在该基准上并未排名第一。在普遍自夸式的基准发布潮中，这种自曝未登顶的做法颇为少见，也为社区提供了一个可审计、可复现的持续评测标尺。

已确认

• 基准规模：来自 2343 份文档、2937 页，覆盖 92 种语言，共 16288 项通过/失败测试，打分方式统一、可解释。
• 构建方式：团队大量借鉴 olmOCR bench（Paruchuri 称其为目前设计最好、最公平一致的 OCR 基准）的方法与测试，在此基础上清理 ground truth、新增高难度用例和新的单元测试类型。
• 发布动机：团队使用 olmOCR-bench 一年多后认为其已饱和——剩余提升多来自匹配其输出格式而非真正的阅读能力提升。
• 覆盖场景：手写体、表格、多语言、数学公式、表单等 OCR 边界难点；承诺持续更新测试用例以追踪领域进展。
• 设计目标：Paruchuri 指出 OCR 评测痛点在于测试集格式约定与模型输出不匹配导致评判不公平，OmniParseBench 旨在让基准本身足以公平评估模型，无需依赖后处理。

为什么重要

• 通过/失败式打分比模糊评分更可审计，数据与代码开源利于复现。
• 覆盖手写、公式等长期痛点场景，可作为观察多语言 OCR 进展的持续标尺。
• 发布方主动披露自家产品未登顶，显著提升了基准的中立性与可信度。

• Datalab 发布 OmniParseBench：16288 项 OCR 测试自曝未登顶 — VikParuchuri · 2026-10-10
• olmOCR-bench 已饱和：Datalab 推出可审计的 OmniParseBench — VikParuchuri · 2026-10-10
• Vik Paruchuri：olmOCR-bench 已饱和，涨分靠对齐格式 — VikParuchuri · 2026-10-10
• OmniParseBench 覆盖手写、表格、多语言等 OCR 边界场景 — VikParuchuri · 2026-10-10
• OmniParseBench 发布：覆盖手写/表格/公式等 OCR 边缘场景 — VikParuchuri · 2026-10-10
• OlmOCR 榜单已饱和，Datalab 推出 16,288 项测试的 OmniParseBench — VikParuchuri · 2026-10-11
• Datalab 基于 olmOCR bench 自建 OmniParseBench 并扩充难题 — VikParuchuri · 2026-10-11
• OCR 基准 OmniParseBench 发布,瞄准让后处理不再必要 — VikParuchuri · 2026-10-11

第 2 集 · Datalab 发布公平 OCR 基准 OmniParseBench 并揭示刷分乱象(2026-10-13,3 条)

Datalab(Vik Paruchuri)团队因原有 olmOCR 基准已饱和,发布新 OCR 基准 OmniParseBench,且不将自家模型排在榜首第一。团队还发布一个 650M 参数文档解析模型,仅用 70 步 RL 训练加推理侧小修复(未接触基准文档)便冲上 LlamaIndex ParseBench 第三,证明该榜单可被「对齐刷分」,实际 OCR 能力并未真正提升,只是输出格式更契合评测。

• Datalab 发布公平 OCR 基准 OmniParseBench,主动放弃自榜第一 — VikParuchuri · 2026-10-13
• 70 步 RL 让 650M 小模型冲上 ParseBench 第三,OCR 能力实则未变 — VikParuchuri · 2026-10-13
• Surya 团队发 650M OCR 模型,称刷榜只改格式无真实提升 — VikParuchuri · 2026-10-13