LlamaIndex 实测 GPT-6 Astra:文档抽取 97.2% 创 SOTA,但长文仅 31.7%
llama_index · x · 2026-09-06
LlamaIndex 创始人 Jerry Liu 发布 GPT-6 Astra 在硬核文档解析与抽取任务上的基准测试结果:
- 短文档 one-shot 抽取 97.2%,在其 ExtractBench 上创下新 SOTA;中等文档 90.6%
- 长文档表现差:one-shot 仅 31.7%,长文档一次抽取本质上是难题
- 价格贵:平均每页 11 美分,约为其低成本文档抽取方案的 10 倍
- 原生 OCR 并不突出:与 Fable 5.1、gpt-5.6-sol 等前沿模型相比优势有限;表格理解很强,但图表、版面和语义格式化处理不佳
完整结果见 ExtractBench。结论:Astra 适合短中等文档的高精度抽取,长文档与成本敏感场景需另择方案。
「模型」频道最新
- 扩散语言模型的偏见排名随采样配置改变,去偏后仍不稳定 — Bollegala · 2026-10-23
- 月付 20 美元同时跑 100 个 DeepSeek v4.1 flash agent — zack_overflow · 2026-10-23
- 从业者感叹开源音频模型连表征类质量都普遍拉胯 — gowthami_s · 2026-10-23
- 网友自曝用 Claude Opus 5.5 生成视频,泄露未发布模型名 — jwt0625 · 2026-10-23
- 安全圈激辩:OpenAI 限制安全研究员访问 Astra 是否失策 — cyb3rops · 2026-10-23
- Mistral Large 4 曝光:1T 参数、激活 49B,月底开源 — mervenoyann · 2026-10-23