SynthDocBench 揭示文档理解失效模式
ServiceNow-AI · hf · 2026-07-15
ServiceNow-AI 提出 **SynthDocBench**，一个用于长上下文视觉文档理解的全合成基准。 这个 benchmark 的特点是能独立控制： - 文档长度 - 版式结构 - 模态组合 - 问题类型 作者用 LLM 管线自动生成文档，并在六种版式原型上引入 **40% 随机覆盖**，避免模型靠伪相关性投机取巧。对 7 个前沿 VLM 的评测发现了几个现有 benchmark 难以暴露的问题： - 文档越长，性能明显下降； - 多数模型对文档中段最敏感，中间三分之一最难； - 在长文档场景下，图表理解会系统性失效。