文档提取基准 ExtractBench 发布，VLM 归因能力近乎为零
llama_index · x · 2026-08-17
LlamaIndex 发布文档提取基准 ExtractBench，重点评估提取值的溯源准确性，要求引用位置与数值必须同时正确。结果显示：
- VLM 与编码 Agent 表现糟糕：在文档溯源方面得分为零。
- 现有系统短板明显：表现最好的系统在词级 F1 分数仍低于 50%，且随着文档长度增加，归因能力大幅下降，部分专用 API 在长文档上甚至降为 0%。
- LlamaExtract 领跑：LlamaExtract Agentic Plus 在页面级和词级分别达到 84.9% 和 46.4%，且在长文档上保持 87.1% 的稳定性，远超同类方案。
所属事件:LlamaIndex 发布 ExtractBench 文档提取基准(2 条相关)→
「编程与Agent」频道最新
- 「建筑师 vs 园丁」：开发者质疑 AI 编程前的 plan-maxxing 风潮 — nptacek · 2026-10-16
- OpenRouter 发布 Armor 测试版:在 Agent 执行前拦截违规工具调用 — dfinke · 2026-10-16
- Meta 开源编程模型 Muse Spark Open 上线 Modal，主攻长程智能体任务 — AAAzzam · 2026-10-16
- Google SRE 书十周年推第二版，新增智能体时代 SRE 实践指南 — RealGeneKim · 2026-10-16
- GRPO 后训练会令分布坍缩,长程 Agent 时代反成隐患 — zsakib_ · 2026-10-16
- 开发者用 Claude 逐帧写代码，免费给创业公司画吉祥物 GIF — jeremy_goldberg · 2026-10-16