EvolveTrade: Experience-Driven Policy Refinement for Self-Evolving LLM Trading Agents
Sehee Kim, Yumin Choi, Minki Kang, Sung Ju Hwang
cs.AI, cs.CL
2026-09-15
把交易Agent的系统提示当可在线改写的工具策略，GPT-5-mini在2025年9月累计收益6.84%，六个窗口里三个拿到LLM侧最佳夏普。
LLM 交易 Agent 已经能读行情、搜新闻、跑代码。真正卡住的是那套「何时调工具、如何交叉验证、怎么控仓」的手续，通常写死在系统提示里，上线后再也不改。KAIST 用 GPT-5-mini 在横盘、回撤、上升三种月份里跑固定策略，代码解释器几乎每天都算同一组指标：Sharpe、20 日收益、60 日收益、年化波动、回撤，覆盖 90% 到 100% 的交易日。RSI、EMA、VaR、信号归一化一次都没出现。2025 年 4 月那轮 −9.8% 的回撤，和 9 月的单边上涨，用的是同一套分析词汇。
固定提示在开发时就锁死了模型会调用的那一小截能力，而且没有通道让已实现交易反过来改这套手续。
EvolveTrade 把系统提示当成文本参数化的 tool-use policy，骨干 LLM 和工具接口全程冻结。交易 Agent 每天用价格、新闻、Python 解释器主动取证，输出多头权重和逐资产理由。环境按收盘价再平衡 15 只美股蓝筹加现金，工具带统一时间截断，防前瞻。
每 N 个交易日（默认 5）收一批记录：当天仓位、逐资产推理、已实现组合反馈。独立的 Policy Agent 读这批记录，把整份政策文本改写一遍，供下一批使用。改的是工具优先级、查询写法、信号交叉验证、风险规则和输出格式，不是单笔下单。对照里还有只进化高层策略、工具协议不动的 EvolveStrategy，以及无工具但允许提示进化的 EvolveBase，用来拆开「进化」和「工具」两件事。
两个骨干，知识截止之后各三个一个月窗口，LLM 配置跑三次取平均。
GPT-5-mini：
| 方法 | 2025-01 SR / CR | 2025-04 SR / CR | 2025-09 SR / CR |
| Static Tool-Calling | 2.87 / 3.30% | −1.54 / −4.71% | 6.45 / 4.86% |
| EvolveStrategy | 3.86 / 4.70% | −3.09 / −6.85% | 7.76 / 4.78% |
| EvolveTrade | 5.12 / 5.10% | −2.53 / −6.60% | 8.43 / 6.84% |
1 月和 9 月是 LLM 里最好的夏普和累计收益，9 月 6.84% 也超过该窗口所有规则基线。4 月回撤月里，固定工具 Agent 亏得更少。Gemini-2.5-Flash 在 2025-11 熊市里 EvolveTrade 的 SR 为 −1.03、CR −1.07%，略好于同组 LLM；2026-02 的 SR 2.75、CR 2.92% 超过全部规则基线，但 EvolveStrategy 以 3.92 / 3.52% 更高；2026-04 牛市里无工具的 Static Base 以 SR 9.07、CR 11.64% 明显更好。六个模型-行情对里，EvolveTrade 在三个上拿到 LLM 最佳夏普和收益，固定策略在另外两个上更强。
行为上对得上。代码工具日均调用从约 1.0 次升到 2.6 到 4.5 次，新闻搜索没有变多。4 月回撤里出现 VaR 和信号归一化，9 月上升里出现 EMA、RSI、SMA，这些是固定工具 Agent 三个月都没算过的。2025-01-24 的 NVDA 案例：固定工具 Agent 仓位 10.7%，EvolveTrade 在改过的仓位规则下只有 2.9%；次日 NVDA 跌 17.0%，当日组合收益 −0.03% 对 −1.11%，相对差 +1.33 个百分点。
更长的 50 个交易日（2025-09-02 到 11-10）上，EvolveTrade 的 SR 为 4.00、CR 10.56%，仍高于对照。政策文本会变长，也会阶段性收缩，不是单调膨胀。更新间隔过密不好：日更平均 SR 约 1.92、CR 0.16%，默认 5 日更好。
对已经在跑带工具的交易 Agent 的人，这是一条不微调权重的在线适应路径：改的是可复用手续，不是记忆库，也不是离线学好的编排。证据说的是「多数窗口里风险调整后更好」，不是「任何行情都赢」。4 月回撤和 2026 年 4 月牛市就是反例。
更新间隔在整段回测里固定，不能随波动改频率。摩擦只做到成比例手续费，没有滑点、冲击和流动性。窗口是一个月量级，三个随机种子。4 月回撤月里固定工具策略更抗亏，说明进化会把噪声写进政策。组合反馈本身有延迟和噪声，Policy Agent 可能把运气写成规则。评测股票池是 15 只蓝筹，推不到更广的市场。