OlmOCR 榜单已饱和,Datalab 推出 16,288 项测试的 OmniParseBench
VikParuchuri · x · 2026-10-11
Marker 作者 Vik Paruchuri 团队发布 OmniParseBench:基于 2,343 份文档的 2,937 页页面,构建 16,288 个通过/失败式判定测试,覆盖 92 种语言,数据集与评分代码全部开源。
- 动机:olmOCR-bench 已趋饱和,头部系统间的差距主要来自输出格式约定与针对测试的后处理过拟合,而非模型识别能力本身。
- 三大设计目标:清晰(每个测试都是页面的是非题,分数附带测试数与文档数)、可审计(每个答案可溯源,评分器为开放代码、无模型裁判)、可探索(每个测试打标签,可按切片如手写表格、泰文文本单独计分)。
- 对比 ParseBench:后者五个能力维度指标单位不一致,难以比较或合并。
所属事件:Datalab 发布 OmniParseBench:16288 项 OCR 测试自曝未登顶(8 条相关)→
「研究」频道最新
- Google 提出正则化递归自我改进 RRSI,分布外成绩平均高出 3.3 分 — jiqizhixin · 2026-10-13
- CoRL 2026 论文 SafeDriveVLA:先做梦预演再开车,拦截不安全指令 — rsasaki0109 · 2026-10-13
- 从 alignDRAW 到 Nano Banana:文生图十年图像史的讲座回顾 — matdryhurst · 2026-10-13
- Baseten 训练负责人与 Engram Lab 创始人边打 HORSE 球聊持续学习 — baseten · 2026-10-13
- 研究发现:对抗性 AI 说服下专家医生有害决策率从 2% 飙至 49% — EricTopol · 2026-10-13
- 开源检索模型 UIBK-Embedding-v1:179M 参数登顶 BEIR 亚 1B 榜 — antoine_chaffin · 2026-10-13