TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent
Jie Yang, Yan Zheng, Jiarui Sun, Xiran Fan, Junpeng Wang, Liang Wang, Zelin Xu, Qinghua Liu, Zhengyu Fang, Yiwei Cai, Philip S. Yu
cs.AI, cs.LG
2026-09-23
TimeEvo从空库把失败写成测量合同并合成只出数字的工具,成对门控后十项时序问答、三套模型全涨,均值+7.21至+8.79分。
时序 Agent 靠调用外部分析工具答题,工具清单由人在部署前配好。Visa Research 与 UIC 把同一套冻结 LLM 配上 TimeART 的 21 个专家工具,在十项时序问答、三套 backbone 上做成对对照,供给和收益对不上。
这套专家库在部分任务上加分,在另一些任务上减分,涨跌方向三套模型一致。库里有专门的异常检测工具,异常检测任务却在每套 backbone 上都掉 5.8 到 8.8 分。T3 和上涨的 T2、T4 同属 TemporalBench,三套模型上 T3 全部变差。人按任务平均配工具,单个问题运行时才决定某个工具有没有用。
一轮通用 Self-Refine 在十项任务上改了 147 个答案:修好 49 个,弄坏 56 个原本正确的,还有 42 个错换错。最终分数移动不到 1 分。另外两套 backbone 同样分数动不到 1 分。T4 上 luna 改了 14 题,修好 0、弄坏 11。平均分把伤害和修复对冲掉了。
TimeEvo 从空工具库起步,用训练分裂上的错误当监督,长出自己需要的工具。任何更新都要先证明修好的比弄坏的多。
推理时冻结模型先答,准入工具只审查范围内的题,默认保留原答案。工具报错、没被调用、或审查没明确替换,都回退。范围外的题不会被拖下水。
十项时序问答、三套 backbone,TimeEvo 是唯一在全部 30 组上都正增益的方法。十项均值:GPT-5.6-luna +8.79、GPT-5.4-mini +8.73、GPT-5.6-terra +7.21。每套模型用自己的失败长自己的库。
| 方法 | 十项均值增益 | 异常检测 |
| TimeEvo / luna | +8.79 | +14.69 |
| TimeART 21 工具 | 有涨有跌 | −6.25 / −8.75 / −5.79 |
| Chronos-2 固定工具 | 只在 T2/T4 强,最高 +22.22 | 其余持平或为负 |
| Self-Refine | 分数动不到 1 分 | luna 改 147、弄坏 56 |
| vote@5 | +0.79 / −0.21 / +1.64 | 远低于 TimeEvo |
few-shot ICL 读了同一份训练集,分类任务三套模型都明显为负。
luna 长出的库装进 Claude-opus-5、Claude-sonnet-5、GPT-5.6-sol,不看测试集挑选。三套更强模型无工具的十项均值落在 54.6 到 57.1,和最便宜那档差不多;装库后分别 +10.50、+10.65、+8.27。30 组里只有 Match 在 sol 上 −2.50。异常检测上两个 Claude 分别 +26.25、+26.50,高于 luna 自己的 +14.69。工具算的是同一组数,更强模型用得更透,演化不必发生在贵模型上。
消融固定在异常检测和 TSAQA-DT、mini 与 terra 四格。去掉训练侧校准树,两个异常检测 run 什么都不部署。去掉门控,mini 异常检测部署的库比自己的基线低 1.25 分,完整方法是 +16.25。去掉结构化 scope 掉 1.00 到 9.25 分。同一套库若无条件覆盖基线答案,每格多修 16 到 25 题,弄坏也多得多:59 对 19、32 对 22、26 对 3、28 对 10。从 Chronos 或 21 专家工具起步,四格都不如空库。
30 次一轮演化合计 4,910 个训练错误,部署 113 个产物。22 次直接过门,7 次剪一次后过,1 次回滚。门控有一次假阳性:T1 库测试 −1.27;还有一次偏保守的假阴性,Merrill 诊断 +5.00 被拒。
给时序 Agent 配工具,可以换成一套可执行流程。别在部署前猜该有哪些分析模块,让失败写出缺的测量,再用修好对弄坏决定上不上线。空库起步、闭集问答、训练和验证都有金标,这个设定下 30 组全正,均值大约 8 分。
已经在跑时序问答 Agent 的人,更值得带走的是门控口径。平均分几乎不动时,56 道已对题被改错。Self-Refine、五样本投票、加专家库都会留下这种账。luna 上长出的库能抬更强模型,缺的是测量。更大的 LLM 补不上。
这仍是闭集、有金标的渐进改进,不是开放分析工作流的即插即用方案。
正文没有独立的 Limitations 节。
演化依赖训练和验证集金标。失败要能自动判定对错,门控要在同一批题上数修好和弄坏。没有标签的线上日志,这套环跑不起来。主结果冻结为单轮。
任务全是带选项的时序问答,序列长度 8 到 1460,选项 2 到 6 个,绝对准确率跨任务不可比。论文没验证开放式分析、多轮对话、或真实业务流。异常检测序列中位长度只有 16。
门控会两边犯错:接受过测试为负的 T1 库,也拒过诊断为 +5.00 的 Merrill 库。工具可以调用 Chronos-2,异常检测库还带训练侧决策树,从失败合成并不等于从零发明算法。复现绑在 GPT-5.6 / GPT-5.4 的 API 上。