Datalab 自曝旧基准失效:650M 模型几步 RL 即登顶 ParseBench
VikParuchuri · x · 2026-11-20
Datalab 创始人 Vik Paruchuri 发布长文解释为何要自建 OmniParseBench,核心是对现有文档解析基准的审计结论:
- olmOCR-bench 已饱和:Datalab 用了一年,设计不错(单元测试式、难以刷分),但现在涨分主要靠更精细的后处理而非模型质量提升;
- ParseBench(LlamaIndex)主要测格式而非阅读能力:Datalab 用几步 RL 就把一个 650M 参数小模型刷到榜单前列,模型本身并无改进;另一家文档处理公司 Pulse 仅靠调整 prompt 和配置对齐 LlamaIndex 格式约定,就在某分类上白拿 22 分;
- OmniParseBench 的做法:单元测试风格(每页一组是/否断言)、更难、公平计分,已作为后续版本报告的官方基准。
文章同时给出了判断基准可信度的清单,并建议有条件的话在自己的数据上自建 eval。相关可信基准包括 OmniDocBench 及其衍生、PureDocBench 和 OmniParseBench。
所属事件:Datalab 发布 OmniParseBench 并审计 15 个文档解析基准乱象(5 条相关)→
「模型」频道最新
- Sentry CEO 吐槽:Claude 记忆功能似乎只会注入问题 — zeeg · 2026-11-20
- Hassabis 宣称 Genie 4 上线并玩笑「我们活在套娃模拟里」 — ZeroStateReflex · 2026-11-20
- Gemini 4 Neon 仅列 Sokoban 评测第四,Hydrogen 7.5 倍成本追平 Terra — banteg · 2026-11-20
- 谷歌确认已启动 Gemini 4 预训练,Logan K 称进展超预期 — OfficialLoganK · 2026-11-20
- 1.7B 小模型实测:3090Ti 预填充 2 万 token/s,胜任 128k 医疗长文摘要 — AdRepulsive7837 · 2026-11-20
- SnakeBench 实测:最强模型仍难预判 3 步以上贪吃蛇走势 — GregKamradt · 2026-11-20