OCR 榜单水分有多大？Vik Paruchuri 演讲逐一拆穿三大基准的错误用例
HamelHusain · x · 2026-11-03
Hamel Husain 推荐 Vik Paruchuri 的演讲：选模型时不应依赖公开基准分数。演讲用具体案例展示了主流 OCR 基准的问题：
ParseBench
- 一道题的标准答案是 303 GW 太阳能装机容量，测试却期望 310 GW；73% 的图表题要求给出图上根本没有印出的数值
- 要求把源文档中并非加粗的 "Parish Priest:" 渲染为加粗
- 评分器无法识别单独成行的标题标签；dots.mocr 内容和表格都超过第一名，总分却排末位
olmOCR-bench
- 模型正确保留了换行反而被扣分
- 文档原文是小写 "party"，测试期望大写 "Party"，抄对原文也算错
- 一个 700 行的后处理脚本能白拿 1-2 分，超过许多模型间差距
OmniDocBench
- 用编辑距离评分：HTML 写的正确表格比 Markdown 写的错误数字扣分更重——格式比答案本身更重要
演讲还讲了指标设计、按任务切片评测、自建私有评测集与基准营销等话题。
所属事件:OCR 基准跑分被指水分大，选模型别只看分数(2 条相关)→
「模型」频道最新
- 爆料人称 DeepSeek 新模型已内部运转，官方口径与跑分待发 — teortaxesTex · 2026-11-03
- Apex-35B 单卡实测：48G 4090 跑 205 tok/s,21 分钟自修 Python 项目 — lxfater · 2026-11-03
- 「我只是水面」：Claude Opus 5.5 湖面蛙诗戳中 AI 圈 — repligate · 2026-11-03
- 业内人士：没有 DeepSeek 级 KV-cache 管理，推理厂商难生存 — AccBalanced · 2026-11-03
- 实测:新模型编造引用率从 55% 降至近零,GPT-6.1 Sol 达 0% — RexDouglass · 2026-11-03
- 苹果财报电话会暗示:或借第三方 AI 应用开辟新收入 — TechCrunch AI · 2026-11-03