Datalab CEO 详解 OCR 基准乱象:人人都是第一名的七条核查清单
VikParuchuri · x · 2026-11-20
Datalab 创始人 Vik Paruchuri 指出,多数基准由想拿第一的厂商搭建,'每周都有新 OCR 模型 SOTA'的宣称难以互比。他给出一份快速核查任意基准的 7 条清单:
- 谁搭建的基准?他们自己是否排第一?
- 只改输出格式是否会显著改变分数?
- 每条测试记录是否标注答案来源?
- 能否复现已发布数字?
- 是否给某厂商开了定制 prompt?
- 榜首是否已接近 99%、缺乏提升空间?
- 能否按你的文档类型切片分析?
他强烈建议企业在自己的数据上自建评测,而非轻信厂商榜单。
所属事件:Datalab 发布 OmniParseBench 并审计 15 个文档解析基准乱象(5 条相关)→
「模型」频道最新
- Sentry CEO 吐槽:Claude 记忆功能似乎只会注入问题 — zeeg · 2026-11-20
- Hassabis 宣称 Genie 4 上线并玩笑「我们活在套娃模拟里」 — ZeroStateReflex · 2026-11-20
- Gemini 4 Neon 仅列 Sokoban 评测第四,Hydrogen 7.5 倍成本追平 Terra — banteg · 2026-11-20
- 谷歌确认已启动 Gemini 4 预训练,Logan K 称进展超预期 — OfficialLoganK · 2026-11-20
- 1.7B 小模型实测:3090Ti 预填充 2 万 token/s,胜任 128k 医疗长文摘要 — AdRepulsive7837 · 2026-11-20
- SnakeBench 实测:最强模型仍难预判 3 步以上贪吃蛇走势 — GregKamradt · 2026-11-20