修复适配器后分数从 64.5% 跳到 93.6%，OCR 基准缺陷实锤
VikParuchuri · x · 2026-11-14
Datalab 创始人 Vik Paruchuri 指出许多 OCR/抽取基准为其他厂商配置了更差的默认设置或存在重大 bug。在 LlamaIndex 的 ExtractBench 上，仅修复适配器——此前它把 Datalab 输出的 confidence 和 citation 字段错误地当作错误值计分——其分数就从 64.5% 升至 93.6%，而抽取内容本身完全相同。
这组数字成为「同一个模型在不同基准适配器下分数可差近 30 个百分点」的直接证据，说明仅看榜单头名分数选解析器并不可靠。
所属事件:Datalab 长文揭露 OCR 基准水分：五分钟识破“人人第一”(3 条相关)→
「研究」频道最新
- 18岁无机构研究者证明自修复训练可收敛，383次实验验证 — Cohere · 2026-11-14
- AWS 上架 OpenFold3：SageMaker 一键部署全原子分子结构预测 — AWS ML Blog · 2026-11-14
- ICML 2027 新规:投稿限 20 篇、作者须承担审稿义务 — Gravitist · 2026-11-14
- 物理学家更正：OpenAI Lean 代码确实证明了 Yang–Mills 非自由理论 — danintheory · 2026-11-14
- Inkling 2 Small 用 NVFP4 混合精度训练，速度精度兼得 — HanGuo97 · 2026-11-14
- 新预印本用 NMR 化学位移 probing,揭示蛋白基础模型不懂局部化学 — anshulkundaje · 2026-11-14