新基准Chartography测专业图表

echen · x · 2026-07-17

Chartography 是一个新的专业图表理解 benchmark，作者指出现有图表测试如 ChartQA、CharXiv 等基本已被前沿模型“做烂”——在柱状图、折线图、饼图上往往能达到 80%–90% 的水平。于是他们转向更接近日常专业场景的图表类型，去测试模型是否真的能读懂真实工作中的图。

这个基准覆盖了很多更难的图表：比如肿瘤科常见的 Kaplan–Meier 生存曲线、工程里的 contour map、股票/交易场景常见的 candlestick、Sankey diagram、Bode plot 等。作者表示，当前最好的模型在这个基准上的得分还不到 45%，说明专业图表理解仍然是明显短板。