FINCOSMOS: An Open-World Evaluation Paradigm for Agents in Finance
Yupeng Cao, Xueqing Peng, Lingfei Qian, Haohang Li, Yangyang Yu, Anke Xu, Wenbo Cao, Yan Wang, Yuechen Jiang, Yuyan Wang, Zhuohan Xie, Yankai Chen, Zehan Li, Jimin Huang, Xue Liu, Jian-Yun Nie, Sophia Ananiadou
cs.AI, cs.CL, q-fin.CP
2026-11-05
FinCosmos 把量化策略藏进模拟用户,让 agent 自己上网取数、交付可复算的回测;四个编码 agent 跑满 150 场,零通过。
金融是 agent 最难赢得信任的领域。数据在网上且每天在变,靠记忆必然编数字;策略细节在用户脑子里,不问就不知道;正确性取决于时间,今天的网页带着未来的修订,回测很容易偷看到明天。三者叠加出「静默失败」:程序不崩溃,报告和正确的一样漂亮,里面却是没人要过的策略、没验证的数据、偷用了未来的回测。
现有基准都在某处把世界关掉。问答基准发现成文档,策略基准发完整规格加清洗好的数据,交易基准在自己环境里回放历史;τ-bench 一类模拟用户基准开了意图,世界仍是封闭数据库。每处关闭都把一类静默失败移出了考纲。FinCosmos 把意图、数据、时间线三样全部留开。
三个组件撑起整个范式:
agent 拿不到任何数据,自己上网搜、调 Financial Modeling Prep 的 MCP server(247 个金融 API),每轮 300 秒、最多 6 轮。反馈是 leak-free 的:数据和策略两类只给分不给理由,防止靠反复重试把隐藏策略套出来。
四个编码 agent(Claude Code/Opus 5.5、Codex/GPT-6.1、Gemini CLI/Gemini 3.8 Flash、Kimi Code/K3)加一个无工具裸模型,10 个任务各 3 次,共 150 场:
| agent | 用户满意率 | 通过率 | 预否决质量(0–100) |
| Codex | 33% | 0% | 37.2 |
| Claude Code | 30% | 0% | 37.1 |
| Gemini CLI | 33% | 0% | 22.2 |
| Kimi Code | 20% | 0% | 22.3 |
| 裸模型 Opus 5.5 | 0% | 0% | 20.2 |
零通过。35 场用户签收的会话全部被程序检查否决:29 场没交成交日志或价格序列,收益无从复算;15 场用了截止日后的数据或先成交后出信号;15 场交付的不是用户的策略。这些会话恰恰最像真的,预否决质量 50.8 对其他会话的 21.0。换评分口径会翻案:按用户签收是 23% 通过,只看 LLM judge 负责的否决项是 11%,两种口径还会重排名次(Gemini CLI 按签收并列第一,按 judge 否决为零)。
失败集中在工作流两端:120 场 agent 会话里 25 场交付了用户的策略,顺次往下 15 场守住数据截止、14 场无前瞻、0 场的成交易复算出报告收益。引出同样弱:策略平均含 6.7 个细节,开场只说 2.6–3.7 个,agent 到结束只问出未告知细节的 54–64%,没问到的 66–83% 都做错。两位金融专家把 88% 的失败归因于 agent(模拟器 5%、评估器 7%),judge 与专家一致性 κ=0.87。
带持久记忆的 Claude Code 用同一套反馈练习,10 个任务全部练到通过,中位每任务 34.5 场(共 506 场),每场失败否决数从练习前段的 6.3 降到通过前的 2.6。
它测的是「能不能托付」,不是「能不能完成」。三个结论直接可用:用户满意率 23% 对真实通过率 0%,拿用户反馈或 LLM judge 当验收会系统性高估;agent 最弱的两端是问清需求和交付可复算结果,恰是现有训练覆盖最少的;程序化验收重算每个数字、查每行数据日期,任何交付物类 benchmark 都能搬。任务生成器、评估器、在线 leaderboard 全部开放,题目按需再生,配 leak-free 反馈构成自我改进闭环。渐进的是测量不是能力:它没让 agent 变强,只是把失败摆上了台面。
作者自列:只有 10 个冻结任务、每 agent 3 场;语法只覆盖美股做多策略加固定成本;模拟器、judge 和一个被测 agent 同属 Claude 家族;70% 轮次撞上 300 秒上限,放宽限制结果可能不同;程序检查证明不了每个数字都真实;反馈跨尝试仍可能泄漏,leaderboard 应该用冻结的 agent。
读完全文另有两点存疑。其一,「练完全部任务」是在冻结的 10 个任务上跑 506 场的结果,更接近对着评分表调优,论文没有 held-out 任务验证泛化。其二,程序复核依赖交付的成交日志与价格序列,溯源只到 URL 和 API 调用层面,数据本身是否被污染证实不了。