2026-09-25
西北大学等从2015至2024年财报幻灯片抽出1200张真实金融图、7016道单token题，人工两轮校对后评了26个模型；Claude Sonnet 4均分84.32%，推理QA只有63.59%。
图表理解基准已经不少，FigureQA、ChartQA、ChartX 都在开放域或科学图上堆题。金融图几乎没人单独测。财报幻灯里的柱、线、饼带着时间结构和行话，轴上的数字还经常不写在图形旁边，模型和通用图表基准不在同一难度上。
现有题还有两个工程毛病。一是答案口径含糊：「140 Million」「140M」「$140M」算不算对，评测得靠 GPT 当裁判。二是很多基准用模型自己出题、自己打分，质量门形同虚设。金融场景更依赖精确匹配，含糊答案过不了业务关。
FinChart-Bench 从 2015–2024 年上市公司电话会幻灯里抽图，来源包括彭博和公司官网。Qwen2.5-VL-7B 先框图表，得到每年约一万张、合计超过 13 万张。人工按四条硬标准过滤：必须是图、必须完整清晰、必须高分辨率、不能过简或过乱。过筛后每年大约 7000 张，再每年手挑 120 张，最终 1200 张。柱状带数字约占 40%，柱线组合约 26%，共 14 种图型。
GPT-4.1 每张图出 6 道题：判断、四选一、推理问答各两道。答案强制单 token：True/False、A/B/C/D、一个数字。推理过程另存，不进评分。人工第二轮逐题校对，错答改正、病题删除，从 7200 对收到 7016 对（判断 2383、选择 2349、问答 2284）。作者自己标，滤图约每小时 1000 张，校对约每小时 80 对，从 2025 年 3 月做到 6 月。
评测 26 个模型：13 个通用开源、5 个图表微调、若干闭源。输出格式统一成 Result = [[ answer ]]，指标是精确匹配，再按题量加权得到均分。
判断和选择上，强开源已经能碰闭源。Mistral 3.1（24B）选择 84.17%，高于 GPT-4o 的 77.57%；Qwen2.5-VL-7B 均分 72.16%，贴近 GPT-4o 的 76.62%。问答是所有模型的天花板：开源最高 Llama 4 的 59.78%，闭源最高 Claude Sonnet 4 的 63.59%。均分第一是 Claude Sonnet 4 的 84.32%。
同门换代并不单调。Llama 4 均分 69.89% 高于 Llama 3.2 的 44.65%，选择却从 64.00% 掉到 59.70%。GPT-4.1 mini 选择 86.77%，高于更贵的 GPT-4.1 的 83.19%。图表微调模型几乎不能用：UniChart 均分 17.52%，ChartGemma 16.87%，多数选择低于 10%，主因是跟不住输出格式。
带数字标注的柱和线明显好做；要靠坐标轴对齐读值的折线、面积、散点，问答全面垮。Qwen2.5-VL 抽图阶段每年上万张，人工丢掉将近一半，模型当自动质检员还不成立。
| 模型 | 判断 / 选择 / 问答 | 均分 |
| Claude Sonnet 4 | 96.94 / 91.66 / 63.59 | 84.32 |
| GPT-5 | 97.44 / 92.13 / 61.37 | 83.92 |
| Qwen2.5-VL 7B | 95.09 / 82.81 / 37.29 | 72.16 |
| Llama 4 17B | 89.56 / 59.70 / 59.78 | 69.89 |
| UniChart | 51.05 / 0.0 / 0.57 | 17.52 |
这是第一份专测真实金融图、并且两轮全量人工过的图表基准。单 token 加精确匹配，让排行榜可以复现，不必再请 GPT 当裁判。对要上财报问答的人，结论很具体：闭源判断题已经到 97%，真正的缺口是读轴和算，不是认图例；图表专用微调如果把指令遵循训没了，会比通用 7B 更糟。
它是领域基准，不是方法论文。1200 张图换来的是可信标签，不是新架构。
作者承认规模被人工卡住：7 万张合格图最后只用 1200 张。题是 GPT-4.1 先写、人再改，问法可能残留生成模型的口味。单 token 评分测不出推理链质量，只测最终数字。数据是英文公司幻灯，覆盖不了研报截图、中文交易所披露、交互式终端。图表微调模型崩在格式上，论文把它归因于过度微调伤害指令遵循，没有把这些模型改 prompt 再测一轮，这个解释还只是假说。空间推理差主要来自按图类型切片的正确率，没有受控的「读轴」实验。