Datalab 复盘 olmOCR 基准：模型变强分数却持平，问题出在评测
soldni · x · 2026-10-13
Datalab 的 Vik Paruchuri（Marker/Chandra OCR 作者）发文分析 olmOCR 基准的「饱和」现象：新版 Chandra 在内部更难的边缘用例和人工 vibe check 中都表现更好，但 olmOCR 分数却持平甚至略降。
排查发现，多数「失败」并非模型真错，而是基准依赖的字符串匹配/编辑距离过于脆弱：数学公式里格式上的微小差异（渲染结果完全相同）会被判错；手写文本中大小写（Lunch vs lunch）或换行位置不同也会被扣分。
结论是传统编辑距离类 OCR 基准（包括 olmOCR 和 OmniDocBench）的区分度正在衰减，SOTA 停在 90% 以下的部分正是这些格式噪声。
所属事件:olmOCR 基准饱和争议与评测痛点(5 条相关)→
「模型」频道最新
- 曝 OpenAI 用内部数学模型改进自身算法，推理成本砍半 — VraserX · 2026-10-13
- 传 Meta 新前沿模型 Muse Wonder 已发布，网友求真实上手评价 — Kingwolf4 · 2026-10-13
- Anthropic 反蒸馏防御或已砍掉九成以上的训练数据窃取量 — Proper_Actuary2907 · 2026-10-13
- Cursor 新定价：Claude 等第三方模型按 API 价另计，套餐只含 Grok — iannuttall · 2026-10-13
- 线程收官:DeepSeek-R1 开源推理模型追平 OpenAI o1 — alex_verem · 2026-10-13
- Musk 称审阅 Grok RL 日志如看超智能在高压下挣扎作答 — nikola_mr64990 · 2026-10-13