Investor's Last Exam: Can AI Agents Do Equity Investment Without Seeing the Future?
Huangfei Jiang, Anning Hu, Kai Sheng, Yuchen Cai, Rui Ge, Xiangyu Kong, Jianghao Lin, Shuzi Chen, Jiyi Weng, Junchi Yan
cs.AI
2026-10-28
买方投资人建 ILE 基准,用 343 万文档版本冻结时间线;GPT-6 Astra 总分 68.1 居首,预测建模仅 52.5。
金融 agent 评测一直有个机制层面的洞:前瞻污染。决策时点之后才存在的信息,有两条路漏进任务里。一是预训练可能记住了历史结局,二是检索侧的日期过滤靠不住。论文给了实例:GPT-6 Astra 的搜索查询里明确写了 before:2026-03-24,返回的却是一条 7 月 2 日的视频页,带着已实现的特斯拉 Q2 交付数据。页面发布日期和内容实际可得时间对不上,更新和回溯报告都能绕过日期过滤。
已有金融基准各管一段:FinanceBench 考文档问答,Finance Agent 和 FinSearchComp 考搜索流程,FinanceGym 加了发布日期过滤,但那只是检索层的启发式,管不住计算和评分环节。ILE(Investor's Last Exam)把信息边界升级成系统级约束,同时把评价标准换成专业买方的。
三件套。
执行层面:11 个系统,统一六族工具库,每题 7200 秒、最多三次提交。数值标准用确定性检查,语义标准由 GPT-6 Astra 评。
| 系统 | 总分 | 亮点与短板 |
| GPT-6 Astra | 68.1 | Research & Evidence 78.9、Evaluate & Decide 77.6,Forecast & Model 仅 52.5 |
| Claude Opus 5.5 | 66.9 | Forecast & Model 52.6、Monitor & Update 64.2 两项第一 |
| DeepSeek V4.1 Flash | 63.0 | 单题 0.36 美元;Opus 贵约 22 倍只多 3.9 分 |
| Ling 3.0 Flash | 42.6 | 垫底 |
三个排序互不一致,这是论文最硬的发现。
预测是集体短板:Astra 的预测建模比自己低 26 分,单项里 KPI 与跨公司预测只有 41.1 和 49.6。换成预测-结果标准,排名反转:DeepSeek V4.1 Flash 40.3 第一,压过 Astra 37.7 和 Opus 37.6;Market Trading 类别由总分 59.3 的 DeepSeek V4 Pro 以 64.6 夺冠。模拟交易同样错位:用 20 个任务的预测构建多空组合(2026 年 3-8 月,单边 10 个基点加 3% 年化融券成本),Hunyuan 4 Preview 收益 8.50% 最高,Astra 7.18%,一直做多只有 1.18%;Kimi K3 赚 7.15%,高于 Opus 的 6.39%,研究分却更低。
另一组对照说明为什么必须自带数据库:Astra 在版本库 68.1 分,换公开网页搜索 68.3 分,几乎没差,但 57% 的公网轨迹(49/86)摸到了截止后的来源。分数一样,信息边界完全不同。
失败集中在上游:APN 那道 AEP 资金缺口题,11 个系统全部找齐八项输入、算平两个现金流恒等式,只有 5 个算出两个资金缺口,3 个分清净/毛燃料调整,5 个得出有依据的结论。取数和算术已经不卡了,卡的是假设校准和模型一致性。提交可靠性是独立失败源:严格模式下 Step 5 Preview 从 55.1 掉到 34.5,Hunyuan 从 60.4 掉到 47.7,后者有 17 条轨迹干脆没提交。
对做金融 agent 的团队,可直接搬走的是防泄漏架构:版本化语料加工具链授权检查,比在 prompt 里叮嘱「不要偷看」可靠得多,自建评测可以照抄。依赖图的诊断粒度是第二点价值,能把错误定位到具体环节;86 题的题库和代码已开源,评分细则保密。
对模型选型,总分在这里没有意义:研究质量、预测准确率、模拟收益三个排序互不一致,选谁取决于下游要哪种能力。
作者自认两条:版本库只堵住检索侧泄漏,前沿模型预训练时可能已记住历史结局,要做反事实或合成财报才能彻底分离;部分任务按已实现结果结算,市场噪音会让合理分析数值上偏离,只看结果分会低估研究质量。
读下来另有几处存疑。86 道题、20 笔模拟交易,样本量支撑「排名反转」这类结论偏勉强,8.50% 对 7.18% 的差距放在 20 笔交易里很可能不显著,论文没做显著性检验。语义评分由 GPT-6 Astra 担任,它同时是参赛选手,自增强偏差虽有敏感性附录,不能完全排除。基准计划随新披露持续扩容,活基准也意味着不同时间的跑分不可直接比较。