Datalab 实测 15 个文档解析基准，半数排名失真

Marker/olmOCR 团队 Datalab 发布研究，检验 15 个文档解析基准的可信度：用 7 个开源模型跑遍 13 个公开基准，再由 3 个评审模型统计输出的真实错误数，发现约半数基准排名与真实错误率脱节。以自家的 olmOCR-bench 为例，200 页中就有 68 页判分有误。团队提醒社区对 benchmark 保持怀疑，并给出了自查方法。

2026-11-05 ~ 2026-11-05 · 2 条相关