GIFT-Eval-CTX: A Benchmark For Contextual Forecasting Model Evaluation
Xu Liu, Hanshu Yan, Taha Aksu, Quang Pham, Zhongzheng Qiao, Jun Hao Liew, Silvio Savarese, Doyen Sahoo, Junnan Li
cs.LG, cs.AI
2026-10-13
Salesforce 在 GIFT-Eval 留出段上建了一万条难窗口，配上从真实未来抽出的结构化效应后，GPT-5.6 Sol 相对 MASE 由 0.953 降到 0.565，降幅 40.7%，MoiraiAgent 综合 0.497，好于最强纯历史 TSFM。
时序基础模型（TSFM，靠数值历史做零样本预测的模型）的接口主要吃数值。热浪用电、计划封路、专家给出的情景，都是已知但尚未发生的信息，进不去。
已有的文本配序列评测，如 Context is Key、Time-MMD、FinTexTS，常有三个缺口：领域窄，历史和未来切分不统一，文本不保证在讲未来。分数不动，就分不清模型没用上上下文，还是上下文里没有可执行内容。
GIFT-Eval-CTX 只测后面这件事。读原始材料交给专家和前沿模型。上下文抽自已经实现的未来，写成结构化效应，相当于核对过的情景说明。说明书在手，轨迹能不能画准。
样本来自 GIFT-Eval 留出测试段。多变量拆成单变量，不碰训练和验证区域。短于 24 步的不要，成稿地平线为 30 到 900 步。短、中、长历史截到预测步数的 10、5、3 倍。
只留难窗。领先 TSFM 先预测，rMAE 等于未来平均绝对误差除以未来极差，全部至少 0.10 才收，也就是误差至少占未来振幅一成。同一序列上，各窗历史加未来不重叠。共计 20 个数据集、6 种频率、78 个配置、10,000 条；短 6,559，中 2,135，长 1,306。
效应记成键值，散文不进比较。Macro 描述整段：一至两段趋势（方向、形状、时长占比合计为 1）、季节性（周期与波形，可空）、按历史极差归一化的最小最大（可小于 0 或大于 100）。Micro 是参照预测没抓住的闭区间，分偏离后恢复、水平跳变、周期变化。强度由代码从原序列计算。全库 23,476 个 Micro，条均 2.35；三类 19,134、3,117、1,225。
Macro 与 Micro 两个 agent 都看得到未来真值。校验器重算取值范围，不通过就退回证据。Micro 以多家 TSFM 的逐点平均为参照，只在残差大的区段提案。批评 agent 先盲读曲线，再保留、删除或改边界。人工抽查了随机子集，比例和错误率都未给出。论文写明，这些标注由生成式模型产出，作者做了人工查看。
指标为 MASE，预测绝对误差除以季节性朴素预测在历史上的误差。78 个组先平均，除以该组朴素预测，再取几何平均，朴素预测定为 1.0，越低越好。历史基线为 Chronos-2、Toto-2、Moirai-2、TimesFM-3，都只吃历史、输出中位数。GPT-5.6 Sol 与 Claude Opus 4.8 做配对，输出上限 16,000 token，推理力度 medium。MoiraiAgent 用 GPT-5.6 Sol 调 Moirai-2 得到等长轨迹，再用代码修改，最多 10 步。直接生成的提示会写上原始单位极差，并要求预测落在其中。
只给历史时，两家前沿模型都差于四家 TSFM。综合相对 MASE：TimesFM-3 0.780，Moirai-2 0.782，Chronos-2 0.795，Toto-2 0.798，GPT-5.6 Sol 0.953，Claude Opus 4.8 1.109。短端 LLM 仍优于朴素预测（0.851、0.967 对 1.0）。中端、长端 GPT-5.6 Sol 比朴素差 7.1% 和 4.9%，Claude 差 32.5% 和 20.6%。
| 方法 | 输入 | 短 | 中 | 长 | 综合 |
| Seasonal naive | 历史 | 1.000 | 1.000 | 1.000 | 1.000 |
| TimesFM-3 | 历史 | 0.750 | 0.795 | 0.823 | 0.780 |
| Moirai-2 | 历史 | 0.740 | 0.798 | 0.852 | 0.782 |
| Chronos-2 | 历史 | 0.764 | 0.803 | 0.848 | 0.795 |
| Toto-2 | 历史 | 0.765 | 0.811 | 0.851 | 0.798 |
| GPT-5.6 Sol | 历史 | 0.851 | 1.071 | 1.049 | 0.953 |
| GPT-5.6 Sol | 历史+效应 | 0.417 | 0.727 | 0.782 | 0.565 |
| Claude Opus 4.8 | 历史 | 0.967 | 1.325 | 1.206 | 1.109 |
| Claude Opus 4.8 | 历史+效应 | 0.538 | 1.077 | 1.147 | 0.781 |
| MoiraiAgent | 历史+效应 | 0.398 | 0.623 | 0.603 | 0.497 |
效应使 GPT-5.6 Sol 从 0.953 降到 0.565（40.7%），Claude 从 1.109 降到 0.781（29.6%）。降幅随期限变长而缩小。GPT-5.6 Sol 加效应后，短中长都好于纯历史 TSFM；Claude 只赢在短端（0.538 对 Moirai-2 的 0.740），中端 1.077、长端 1.147 仍更差。MoiraiAgent 综合 0.497，各期限第一，比 TimesFM-3 低 36.3%。相对同效应 GPT-5.6 Sol，优势为短 4.6%、中 14.3%、长 22.9%。工具在长序列上更值钱。
只加 Macro、只加 Micro、两者合用：GPT-5.6 Sol 为 0.780、0.650、0.565，MoiraiAgent 为 0.711、0.549、0.497（纯历史即 Moirai-2 的 0.782）。Micro 是大头。Macro 单用在中、长端无效，MoiraiAgent 为 0.802 和 0.858，略差于纯历史；合用则各期限都更好。同一句全局描述对得上的轨迹太多，地平线一长就更含糊。
水平跳变把 MASE 打到约三分之一：0.890 到 0.294，0.780 到 0.283。偏离约降 29% 到 31%，周期变化只降 6% 到 9%。长端给了周期说明后，GPT-5.6 Sol 从 1.070 变到 1.119，MoiraiAgent 从 0.826 降到 0.755。跳变最好画，改周期要同时挪很多个循环。
区间内，GPT-5.6 Sol 从 1.011 到 0.496（少 50.9%），MoiraiAgent 从 0.876 到 0.444（少 49.3%）。区间外是 0.890 到 0.802，以及 0.687 到 0.652。一段未标注过渡从 0.261 降到 0.124。另一条序列上周期被保住，但 MASE 从 0.933 升到 1.052。形状保住和分数变好，可以分开发生。
长度刚好等于地平线的比例，中端和长端 GPT-5.6 Sol 只有 38.9% 和 40.5%，Claude 只有 2.3% 和 1.2%，其余截断或补齐；MoiraiAgent 为 100%，因为底稿已经等长。五个历史归一化点的容差下，取值范围与全部强度的遵守率：GPT-5.6 Sol 为 97.41% 和 81.57%，Claude 为 59.83% 和 40.79%，MoiraiAgent 为 99.98% 和 92.73%。
40.7% 说明结构化说明书可以被前沿模型执行。短端 0.417 已好于 Moirai-2 纯历史的 0.740。期限一长，直接生成的长度和周期一起失败，编辑 TSFM 底稿更稳，优势扩到 22.9%。骨干没换。
接口上可以只交换 Macro 和 Micro。优先接水平跳变和暂时偏离，周期变化收益仍然很小。
效应抽自待评分的未来，只回答说明正确时能还原多少。新闻抽取和错误情景都不在测量里。提示还附上真实极差的原始单位闭区间，并要求预测落在里面，强度同样来自真值。降幅里很大一块是规格执行，开放预测没有这么多已知数。
rMAE 低于 0.10 的窗已被拿走，约 0.78 的 TSFM 分数不能对完整 GIFT-Eval 榜。长端只留 3 倍历史，多变量被拆开。抽查没有错误率。Micro 绑在这一代残差大的区段上，参照模型一换，难窗和标签一起变。
代码编辑会把局部起伏抹成平台或直线。两例样本 MASE 为 0.311 到 0.114、0.389 到 0.224，正文与图对数据集的归属不一致。分数变好时，路径可以变假。Claude 中长端合规率约 2.3% 和 1.2%，截断和补齐各自占了多少分，论文没有分开写。