Datalab 发布公平 OCR 基准 OmniParseBench,主动放弃自榜第一
VikParuchuri · x · 2026-10-13
Datalab(Vik Paruchuri)发布新 OCR 基准 OmniParseBench,并在榜单上不自居第一。动机:团队使用一年多的 olmOCR bench 已饱和,难以区分模型;而 LlamaIndex 的 ParseBench 衡量的是输出格式与其偏好对齐程度,而非真实 OCR 质量。
OmniParseBench 采用 olmOCR 风格的一致性 yes/no 单元测试,比编辑距离等指标更难被「刷分」;覆盖复杂表格、表单、多语言等困难场景。Datalab 自己的模型在该榜上也未排名第一。
所属事件:Datalab 发布公平 OCR 基准 OmniParseBench 并揭示刷分乱象(3 条相关)→
「研究」频道最新
- Tim Hwang:用种子论文在硅内自建「自动驾驶研究领域」已近在眼前 — CatAstro_Piyush · 2026-10-13
- 搜遍 400 万颗恒星:团队用 NASA TESS 公开数据发现 546 颗候选系外行星 — CatAstro_Piyush · 2026-10-13
- 21.3 万笔专家雇佣、5.4 亿美元薪酬:研究测算 AI 训练数据人力市场 — paulnovosad · 2026-10-13
- 马毅在港大开《深度表示学习原理》课，配套开源新书 — YiMaTweets · 2026-10-13
- IEEE VIS 2026 论文奖公布，获奖工作覆盖图嵌入与 AI 可视分析 — arvindsatya1 · 2026-10-13
- 新基准 HSS 揭示：GPT-6 Astra 等 SOTA 模型全败于人类「第六感」 — mikeflache · 2026-10-13