LlamaIndex 发布 ExtractBench Pro:前沿模型也被长尾文档抽取难倒
llama_index · x · 2026-10-20
LlamaIndex 创始人 Jerry Liu 宣布推出 ExtractBench Pro,一个专为真实世界文档抽取设计的基准,号称连最新的前沿模型(如 Astra、Opus 配最大思考预算)都难以拿下。
核心观点:
- 现有抽取基准已被前沿模型刷饱和(其最便宜模型在 ExtractBench 上得分 93%+),但真实客户场景中存在巨大的复杂度长尾:试算表、测井曲线、现场图纸审查、保险损失清单等,从性价比角度看完全未被解决。
- 专业文档自动化不仅需要深度视觉感知/OCR(图表、示意图),还需要能调和多来源互相矛盾信息的推理链,视频示例展示了水位审计任务需同时读懂主图与附录中的日期变更。
- 团队认为复杂文档抽取是「PDF 上专业知识工作」的缩影,并暗示除前沿模型外,还有打造专用模型压低成本的空间。同步发布了 Extract v2.5 文档抽取 Agent。
「编程与Agent」频道最新
- 微软 TokenEconomizer:为编码 Agent 削减环境侧 token 开销的黑盒控制器 — MicrosoftResearch · 2026-10-20
- 用户吐槽 Codex 重置后一小时内烧掉半天用量额度 — ssh4net · 2026-10-20
- 开源工具 Berth 让单张 GPU 给 AI 与游戏自动错峰租让显存 — Distinct-Pie2389 · 2026-10-20
- 为了造造工具的工具再造工具：AI 开发的套娃日常 — eschadiol · 2026-10-20
- reuF2F 基准发布:244 道 Lean 形式化开放数学题,最强模型仅解出约四成 — AkariAsai · 2026-10-20
- 无共享快照时，Agent 该如何合并两个库存读数？ — InformationLive493 · 2026-10-20