olmOCR 基准饱和争议与评测痛点
Vik Paruchuri（Datalabab，Marker/Chandra OCR 作者）发文指出 olmOCR 基准已趋于饱和：各家分数提升主要来自针对测试格式的后处理适配，而非模型阅读质量的真正改进，引发社区对 OCR 评测上限的热议。
已确认
- Vik Paruchuri 认为 olmOCR 是设计最好的 OCR 基准，但已饱和：新版 Chandra 在内部更难的边缘用例和人工 vibe check 中表现更好，但在 olmOCR 上分数持平，说明问题出在评测而非模型。
- 他指出 OCR 评测的核心难题：各模型后处理程度不同、输出格式约定与测试期望不一致，模型可能因格式约定差异被不公平评分。
- 同期有新开源 OCR 模型在 olmocr bench 上以 85.9% 创 SOTA：支持 90+ 语言，参数从 9B 降到 4B，输出完整版面信息，可对图片和图表做提取+描述，手写、数学、表格、表单表现强；但 4B 参数规模遭质疑不够用。
为什么重要
- @srchvrs 总结认为复杂输出的准确率很难精确逼近 100%；@soldni 指出多数基准在远低于 100% 时就会饱和，并引用 Vik Paruchuri 对 OCR 评测中约 10% 准确率去向的分析，这直接关系到 OCR 模型选型时 benchmark 分数的可信度。
2026-10-11 ~ 2026-10-13 · 5 条相关
- 第 1 集:Datalab 发布 OmniParseBench：16288 项 OCR 测试自曝未登顶(2026-10-10,8 条)
- 第 2 集:olmOCR 基准饱和争议与评测痛点(2026-10-11,5 条)
- 第 3 集:Datalab 发布公平 OCR 基准 OmniParseBench 并揭示刷分乱象(2026-10-13,3 条)
一手来源
- Datalab 复盘 olmOCR 基准：模型变强分数却持平，问题出在评测 — soldni ·
- olmOCR bench 已饱和：涨分靠后处理而非模型能力 — VikParuchuri ·
- 【源头】olmOCR bench 已饱和：涨分靠后处理而非模型能力 — VikParuchuri · 2026-10-11
- OCR 评测痛点：后处理与输出约定差异让分数不公平 — VikParuchuri · 2026-10-11
- 开源 OCR 模型 olmocr 新 SOTA 达 85.9%,4B 参数却遭质疑不够用 — srchvrs · 2026-10-13
- 【源头】Datalab 复盘 olmOCR 基准：模型变强分数却持平，问题出在评测 — soldni · 2026-10-13
- OCR 评测为何难以逼近 100%：约 10% 误差流向引热议 — srchvrs · 2026-10-13