新基准Chartography测专业图表
echen · x · 2026-07-17
Chartography 是一个新的专业图表理解 benchmark，作者指出现有图表测试如 ChartQA、CharXiv 等基本已被前沿模型“做烂”——在柱状图、折线图、饼图上往往能达到 80%–90% 的水平。于是他们转向更接近日常专业场景的图表类型，去测试模型是否真的能读懂真实工作中的图。
这个基准覆盖了很多更难的图表：比如肿瘤科常见的 Kaplan–Meier 生存曲线、工程里的 contour map、股票/交易场景常见的 candlestick、Sankey diagram、Bode plot 等。作者表示，当前最好的模型在这个基准上的得分还不到 45%，说明专业图表理解仍然是明显短板。
所属事件:Chartography发布：专测前沿模型专业图表理解能力(3 条相关)→
「研究」频道最新
- TRL 上线 Score Centering：直击 RL 训练不稳定的根因 — lvwerra · 2026-10-27
- Latent-Foresight:让世界模型学着预判自己的未来 — abursuc · 2026-10-27
- 英国 AISI 发文：现有手段不足以防生物 AI 工具被滥用 — davidmanheim · 2026-10-27
- CMU 发布 XYBench:LLM 只答字面问题,常无视用户真实需求 — valentina__py · 2026-10-27
- arXiv 前主席提示:投稿主分类选错,论文几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27