E2A-Bench: Benchmarking Evidence-to-Action Reliability in Financial Chart Reasoning
Xiaoya Wang, Yutong Xu, Junjie Wang
EMNLP Findings
cs.CL
2026-09-13
清华与暨南大学用969道沪深300技术图表题测20个视觉语言模型：幻觉分数最低的Gemma-4-E2B方向覆盖只有6.4%、NDR仅5.1%；Qwen2.5-VL-3B以32.1%居首。
金融图表推理里，VLM 要读 K 线图、均线、成交量，再给出 BUY / SELL / HOLD / UNCERTAIN 和置信度。现有评测大多停在「这句话有没有视觉证据」或「最终答案对不对」。两条路都有盲区：覆盖盲，幻觉分会奖励那些干脆不给方向的模型；链条盲，不检查证据有没有从图表事实走到理由、置信度、最终动作。
一个模型可以靠大量 HOLD 把无支撑声明压下去，看起来很稳，却几乎给不出可执行建议。清华与暨南大学的 E2A-Bench 把评测单元改成覆盖感知的证据到动作可靠性。它不预测涨跌，只审计这条链是否站得住。
基准覆盖沪深300里 323 只成分股。每个窗口是 30 个交易日的 OHLCV，三种输入（纯文本、纯图表、多模态），共 969 条 query。每条窗口用固定规则抽出 10 个证据锚点，合计 3230 条事实，用来核声称、估证据强度。200 张随机图标签对过，图和 OHLCV 标签没有不一致。
模型输出技术分析、理由、动作、1 到 5 的置信度。协议拆四段：
主指标 NDR = 覆盖 × (1−UCRdir) × (1−RCI) × (1−ECI)。乘积表达的是必要条件：缺席、无支撑、自相矛盾、弱证据高置信，任何一环坏了都不算可靠。NDR 不是收益，也不是假设这几项统计独立。主设定 θ=0，所有方向动作都进覆盖；θ>0 是更严的稳健性检查。
20 个 VLM：Gemini 3.1 Pro/Flash、GPT-5.5/5.4/5.4-mini、Claude Sonnet 4.6；Qwen2.5-VL、Qwen3-VL、Qwen3.5、Gemma-4；金融微调的 PyFi、Amsi-fin-o1、FinLLaVA。
| 模型 | 方向覆盖 | UCRall | NDR |
| Qwen2.5-VL-3B-Instruct | 82.5% | 53.1% | 32.1% |
| Qwen2.5-VL-7B-Instruct | 53.9% | 47.9% | 25.0% |
| PyFi-QwenVL-3B | 62.4% | 40.5% | 25.3% |
| Gemini-3.1-Pro | 59.0% | 70.0% | 16.8% |
| Gemma-4-E2B-It | 6.4% | 39.9% | 5.1% |
幻觉最低的 Gemma-4-E2B-It，UCRall 39.9%，但覆盖只有 6.4%，NDR 掉到 5.1%。开源小模型 Qwen2.5-VL-3B 覆盖 82.5%，NDR 32.1% 最高。专有模型更保守，最好的 Gemini-3.1-Pro 也只有 16.8% NDR。
输入形态跟模型有关。全体平均上，纯图表 NDR 19.2%，高于纯文本 14.5% 和多模态 15.6%。Qwen3.5-4B 在纯文本上到 37.9%；Gemma-4-31B 在纯图表上到 29.4%。多模态并没有稳定更好。
金融微调不统一降风险。Amsi-fin-o1 的 NDR 微升 1.5 个百分点，两个 PyFi 分别掉 6.8 和 7.2 个百分点。三对严格基座-微调对照里，BUY:SELL 一律放大 4.21 到 4.68 倍（1.41→6.10、0.85→4.00、1.84→7.73）。2907 对配对回复里，455 条从 HOLD/UNCERTAIN/无法解析改成 BUY，匹配的证据声称大约少了 34% 到 40%。图表侧的 oracle 核验能压低无支撑声称，同时把可执行覆盖打崩，平均 ΔNDR 为负。
Qwen3.5 在纯图表上不是越大越好：NDR 在 2B 最高 24.1，4B 掉到 12.6，9B 回 18.1，27B 再掉到 13.1。UCR 从 57.0 升到 71.0。HOLD 和 UNCERTAIN 占已解析动作的 63.6%，这正是覆盖感知指标存在的理由。盲测里 NDR 与人类整体可靠性判断相关最强（ρ=0.466，p=0.009）。
做金融 VLM 的人如果只看幻觉分，会把「不敢下单」读成「更可靠」。E2A-Bench 把覆盖和链条质量拆开，适合拿来审计微调有没有把模型推向单边 BUY。它明确不是投资建议，高 NDR 不代表能赚钱。
对评测设计，这是渐进但方向清楚的一步：把评测单元从声称或答案，改成证据到动作的整条链。协议本身可换锚点和动作集合，不绑死 A 股技术分析。
只覆盖沪深300、固定评估日，没有牛熊震荡、没有跨市场品种。证据锚点和模式检测器保证可复现，但会漏掉罕见改写和细技术术语。NDR 与人类判断的相关 0.466，有信号，离「可当金标准」还早。oracle 核验的具体实现和逐模型 ΔNDR 在正文里只给了方向（平均为负），没有展开成完整表。金融微调语料不全公开，BUY 偏向是描述性观察，不是因果结论。