OCR 基准编辑距离评测翻车:正确表格得 0.77 分,读错数字反得 0.016
VikParuchuri · x · 2026-11-14
Datalab(Vik Paruchuri)指出 OmniDocBench 等文档解析基准使用的编辑距离指标存在严重缺陷:它惩罚格式而非错误。
- 同一张表格以 HTML 输出、每个数值都正确,编辑距离得分 0.77(被判定「大部分错误」)
- 同一表格转成 Markdown、但把 1,410 误读为 1,710,得分仅 0.016(被判定「几乎完美」)
- 结论:基准应该惩罚读错的数字,而不是输出格式;评测指标设计不当会让模型排名失真。详见 datalab.to/blog/how-to-evaluate-ocr
所属事件:Datalab 揭 OCR 基准水分：编辑距离指标严重失真(4 条相关)→
「研究」频道最新
- ICLR 2027 Rebuttal Radar 上线：实时追踪审稿分数升降与反转 — 3scorciav · 2026-11-14
- 港科大提出视觉原生智能体框架与 ODE 数据演化，NeurIPS 2026 接收 — 机器之心 · 2026-11-14
- 论文宣称「Harness 工程终结」：让循环自动改写 agent 框架，人类只留考卷 — blaizedsouza · 2026-11-14
- 论文提议 AI 时代同行评审新制：1500 字正文 + 机器可验证附录 — WalterReade · 2026-11-14
- EnvOpt 研究：优化 Agent 环境呈现方式可大幅降本提效 — AlexGDimakis · 2026-11-14
- 研究者让 coding agent 自动抓取 Marin 最新 scaling law 拟合参数 — RylanSchaeffer · 2026-11-14