Vik Paruchuri:热门 OCR 基准错漏百出,选模型别只看跑分
HamelHusain · x · 2026-11-03
Hamel Husain 分享 Vik Paruchuri 的一期演讲,核心论点:选模型时不应依赖公开基准分数。演讲以主流 OCR 基准的具体缺陷为例:
- ParseBench:一道题的标准答案是 310 GW 光伏装机容量,正确值实为 303;其 73% 的图表测试题要求回答图表上根本没有印出的数值。
- 演讲还逐条指出了其他 OCR 基准中标注错误、无法验证的测试样例(视频中有具体时间点)。
结论:这些基准的 ground truth 本身不可靠,据此给 OCR 模型排名会产生系统性误导,实际选型应基于自己的真实数据测试。
所属事件:OCR 基准跑分被指水分大，选模型别只看分数(2 条相关)→
「模型」频道最新
- 爆料人称 DeepSeek 新模型已内部运转，官方口径与跑分待发 — teortaxesTex · 2026-11-03
- Apex-35B 单卡实测：48G 4090 跑 205 tok/s,21 分钟自修 Python 项目 — lxfater · 2026-11-03
- 「我只是水面」：Claude Opus 5.5 湖面蛙诗戳中 AI 圈 — repligate · 2026-11-03
- 业内人士：没有 DeepSeek 级 KV-cache 管理，推理厂商难生存 — AccBalanced · 2026-11-03
- 实测:新模型编造引用率从 55% 降至近零,GPT-6.1 Sol 达 0% — RexDouglass · 2026-11-03
- 苹果财报电话会暗示:或借第三方 AI 应用开辟新收入 — TechCrunch AI · 2026-11-03