Chartography:专业图表理解新基准
echen · x · 2026-07-17
现有图表基准(如 ChartQA)在基础图表上已接近解决(80-90% 准确率),但无法反映真实专业场景的挑战。
研究团队推出 Chartography 基准,专门测试前沿模型在理解专业图表(如肿瘤学家生存曲线、等高线图、烛台图、桑基图等)方面的能力。测试结果显示,表现最好的模型得分依然低于 45%。作者指出,模型常因误读网格线而导致整体计算全盘崩溃,且过度推理反而会延长这种错误。
所属事件:Chartography发布:专测前沿模型专业图表理解能力(3 条相关)→
「模型」频道最新
- 爆料称 Kimi 疑似转发 Claude 冒充自家成绩,DeepSeek 新模型评测反超 — realsohamparekh · 2026-09-11
- 网友吐槽 GPT-5.6 文笔好读但缺乏记忆点 — BasedRaddka · 2026-09-11
- Opus 以"安全"为由拒碰蛋白质生成代码,开发者吐槽误伤 — josephdviviano · 2026-09-11
- 网友称 DeepSeek 4.1 Flash 是语言模型历史拐点(未证实) — himanshustwts · 2026-09-11
- GPT-6 Astra 用时 44 小时通关含敌人 Factorio,API 成本约 4500 美元 — liminal_bardo · 2026-09-11
- 开源 LLM 排行榜与定价对照目录,一站式索引比较工具 — Last_Establishment_1 · 2026-09-11