文档理解基准带来明显增益
echen · x · 2026-07-13
Surge 介绍了他们的 GDP.pdf 公开评测集，目标是测试前沿模型能否理解“支撑现实世界运转的文档”，例如财务文件、剂量表、赔偿条款等。
@reductoai 基于这套公开集做了实验，把自己的文档解析能力接入后，模型质量平均提升 9 个百分点，同时推理 token 消耗下降 13%。收益最大的场景是密集工程任务，比如接线图、交叉引用表格等，提升幅度达到 7% 到 23%。
作者强调，这套公开集可以让做文档 AI 栈的团队直接拿来继续构建和对比，并欢迎进一步交流。
「应用」频道最新
- 17 年录像 443 万条:Internet Archive 让你全文检索电视直播 — moonsandhues · 2026-09-11
- MiniMax Music 制作工具包 2.5 发布,新增完整母带处理链 — Vivid_Promise1700 · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- Photoshop 终于支持自定义清理 Save As 格式列表 — rufusd · 2026-09-11
- 博主开源 X 四图轮播玩法:切图器+一句话生成四格叙事图 — sujingshen · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11