Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research
Houde Qian, Zheng Jiang, Wenyi Li, Chenxi Xu, Xinjie Lin, Yuzhao Peng, Ruoyu Han, Youjie Zheng, Kaisen Yang, Qinhuai Na, You Fu, Calvin Xiao
cs.CL, cs.AI, cs.CE
2026-10-22
Quant-Arena 让 9 个前沿模型在 A 股原始数据上自写策略、封测 2024 年,38 组配置仅 1 组跑赢 17.1% 等权基准,最高分 GPT-6 Astra 靠空仓躲跌。
量化研究是个闭环:提出市场假设、写成可执行的选股信号、回测、决定留哪个。已有基准各测一环,AlphaQT-Bench 测代码正确性,AlphaBench 测公式因子,StockBench 测逐日交易决策;模型能否独立走完闭环、让策略在没见过的年份还赚钱,一直没有公开评测。难点在反复回测天然会筛出拟合历史噪声的候选,研究期分数和样本外表现经常两回事。
Quant-Arena(Navers Lab 与 Einsia.AI)把「一次完整研究」定为评测单元:模型在 A 股原始行情上自建特征和打分代码,有限反馈下迭代,冻结一份策略,交平台在封存的 2024 年统一结算。作者称这是首个用真实行情评测完整闭环的公开基准,leaderboard 接收任何模型或 agent 提交。
封存年份和 5 次候选上限都冲着多重检验去,不给无限试错挑最优的机会;真实收益做主导权重,因为信号统计好看不等于组合赚钱。
9 个模型乘各自支持的推理档位,共 38 组迭代配置,封测 2024 年等权基准年化 17.1%:
| 配置 | 封测年化 | 相对基准 | 总分 | 最大回撤 |
| GPT-6 Astra(xhigh) | 10.7% | −6.3pp | 51.29 | −6.8% |
| GPT-6 Sol(medium) | 18.4% | +1.4pp | 49.80 | −35.9% |
| GPT-5.6 Terra(max) | 8.4% | −8.7pp | 47.58 | −28.8% |
| Kepler-1(主办方专有策略) | 净值 1.93 | — | 77.56 | — |
38 组里 13 组年化为正,只有 Sol 中档一组超基准,代价是 −35.9% 的回撤;各模型总分最高的那档配置无一超基准。4 个模型期末净值高于本金,最高 Astra 1.11,其余五个收在 0.88–0.97。
更有信息量的是三个诊断。其一,RankIC 与实收几乎不相关(38 组 Spearman 0.09):GLM 的 RankIC 0.046 对应年化 −7.8%,Opus 中档 RankIC −0.002 反而赚 4.4%。原因在分层收益:六个模型第二、三分位日均赚 24–33bp,到第一分位反而回落,组合却只买头部;Terra 和 Astra 是例外,打分单调递增。其二,冠军 Astra(xhigh)赢在择时:全市场中位数的 5 日与 20 日对数收益不同时为正就空仓,全年 75% 交易日拿现金。2 月 6 日市场跌到 0.704 时它净值仍是 1.000,前两月回撤 −1.7% 对市场的 −29.6%;代价是反弹只吃到 16%(Terra 为 73%),全年仍输基准 6.3pp。这条规则是研究期连亏两年后第 5 版候选才加的。其三,推理档位不单调,6 个模型的最优档不是最高档,档位间分差最大 14.49 分,接近模型间差距的 18.77 分,调档位和换模型一样重要。
迭代的作用也分两半:与 one-shot 配对,9 个模型总分全涨(均值 36.47→43.55),封测年化只有 4 个涨,均值仅 +2.9pp;研究期分数涨 10.36 分对封测的 5.67 分。作者承认,迭代学到的东西有一部分只对 2022–2023 有效。
对做 agent 评测的人,「有界反馈 + 冻结提交 + 封存结算」这套协议可以直接搬到别的领域。对做金融 LLM 的人,结论很硬:RankIC 不预测组合收益,只看信号指标评量化 agent 会严重误导;样本外赚钱这关,当前最强模型也没过。Kepler-1 的 RankIC(0.085)低于 Astra(0.101),Sharpe 却是 2.98 对 1.89,差距全在把信号转成持仓那一段,这正好指出下一步该攻什么。
作者承认的:迭代收益部分是研究期特供,封测分数的组合规则未公开。另有几处:Kepler-1 是主办方自家专有策略,只能看分不能看代码,77.56 这个天花板无法复核;封测只有 2024 一年、一个市场,Astra 的择时规则恰好匹配年初暴跌再反弹的结构,换个行情 regime 是否成立没有证据;在 38 组里挑出唯一跑赢的 Sol,本身就是一次 38 选 1。等权基准不含交易成本,门槛比表面更严;冲击成本来自模拟订单簿,离真实执行有距离。