Chartography:专业图表理解新基准
echen · x · 2026-07-17
现有图表基准(如 ChartQA)在基础图表上已接近解决(80-90% 准确率),但无法反映真实专业场景的挑战。
研究团队推出 Chartography 基准,专门测试前沿模型在理解专业图表(如肿瘤学家生存曲线、等高线图、烛台图、桑基图等)方面的能力。测试结果显示,表现最好的模型得分依然低于 45%。作者指出,模型常因误读网格线而导致整体计算全盘崩溃,且过度推理反而会延长这种错误。
所属事件:Chartography发布:专测前沿模型专业图表理解能力(3 条相关)→
「模型」频道最新
- Fintech 圈 AI 重度用户共识:ChatGPT、Claude、Grokbot 位列前三 — LexSokolin · 2026-10-26
- 研究者暗示 DeepSeek 下一代模型或沿用 V3.2 DSA 路线 — YouJiacheng · 2026-10-26
- Anthropic S-1 亮点:半年营收涨 1300%,毛利率 85% — danshipper · 2026-10-26
- EMNLP 论文:多选题评分方案微调即可打乱模型排行榜 — boydgraber · 2026-10-26
- AI 回答可附真实链接与权威引用,关键事实仍可能全错 — alifcoder · 2026-10-26
- Kimi K3 解码每 token 约需 1 TFLOPs,K2 V4.1F 仅需 50 GFLOPs — YouJiacheng · 2026-10-26