ChartCynics提升图表问答鲁棒性
HKUST · hf · 2026-07-16
## ChartCynics：更稳健的图表问答框架 这篇工作讨论了视觉语言模型在**误导性图表**上的脆弱性：图表可能通过倒置坐标轴、夸张比例或扭曲数据结构误导模型。作者提出 **ChartCynics**，用一种“怀疑式”推理框架把**感知**和**验证**拆开。 ### 方法设计 - **Diagnostic Vision Path**：通过策略性裁剪 ROI，捕捉结构异常 - **OCR-Driven Data Path**：用 OCR 做数值层面的 grounding，避免只看图形外观 - **Agentic Summarizer**：负责整合两条路径的信息，并处理跨模态冲突 ### 训练方式 - **Oracle-Informed SFT**：用于推理蒸馏 - **Deception-Aware GRPO**：用于对抗式对齐，强化对视觉陷阱的抵抗力 ### 实验结果 - 在两个 benchmark 上分别达到 **74.43%** 和 **64.55%** 准确率 - 相比 Qwen3-VL-8B backbone，绝对提升约 **29%** - 甚至超过了部分最强闭源模型 ### 结论 作者认为，专门化的 agentic 工作流可以让较小的开源模型在图表理解上获得更强鲁棒性，为可信图表解释提供了新思路。