Datalab 拆解 olmOCR-bench:200 页中 68 页判分有错,警惕 benchmark 陷阱
VikParuchuri · x · 2026-11-05
Datalab(Vik Paruchuri)发文提醒对 benchmark 保持怀疑,并给出自查方法。以 olmOCR-bench 为例:这个设计不错的基准得分却出奇地低——olmOCR-2 在 200 页中的 119 页拿到 100%,但裁判复核发现其中 68 页的判分本身有错;其 header 规则还系统性地偏好省略页眉的模型。配套博客给出信任一个 benchmark 数字前的 5 项检查:
- 把 ground truth 当作解析器来打分,是否接近满分
- 人为改错 5% 的数字,分数是否下降
- 同一表格用两种格式,分数是否稳定
- 抽掉一页,benchmark 是否察觉
- 读 20 个失败案例,是否真是模型错误
所属事件:Datalab 实测 15 个文档解析基准，半数排名失真(2 条相关)→
「研究」频道最新
- Weaviate 播客：智能体记忆过多会停滞，遗忘让优化器重启探索 — CShorten30 · 2026-11-05
- Epoch AI 改用贝叶斯模型重估 ECI：可算模型孰强概率 — scaling01 · 2026-11-05
- Zyphra 发布分层注意力 ZHA:10M token 提速 35 倍,剑指真亚二次方注意力 — teortaxesTex · 2026-11-05
- 博士生撰文剖析机器人预训练核心方法 LAM 的现实挑战 — EugeneVinitsky · 2026-11-05
- voxel-based sim2real 方法开发者坦言两大挑战：分辨率与数据 — chris_j_paxton · 2026-11-05
- 实验发现:安全框架措辞会让模型进入「安全焦虑」模式拒绝更多 — jessi_cata · 2026-11-05