文档理解基准带来明显增益
echen · x · 2026-07-13
Surge 介绍了他们的 **GDP.pdf** 公开评测集，目标是测试前沿模型能否理解“支撑现实世界运转的文档”，例如财务文件、剂量表、赔偿条款等。 @reductoai 基于这套公开集做了实验，把自己的文档解析能力接入后，模型质量平均提升 **9 个百分点**，同时推理 token 消耗下降 **13%**。收益最大的场景是密集工程任务，比如接线图、交叉引用表格等，提升幅度达到 **7% 到 23%**。 作者强调，这套公开集可以让做文档 AI 栈的团队直接拿来继续构建和对比，并欢迎进一步交流。