Evolving with Open Worlds: Towards Recursive Self-Improvement for Future Forecasting
Zhipeng Chen, Yunsen Liang, Yanxi Chen, Hongkang Zhao, Lingyun Feng, Ruiyang Ren, Guoxin Chen, Jia Deng, Feng Chang, Chuan Hao, Ran Tao, Jian Yang, Ji-Rong Wen, Bryan Dai, Wayne Xin Zhao
cs.CL
2026-10-21
该系统已把搜索与预测拆开，用真实开奖回灌参数、技能和出题环境，FutureX 连续三周第一，评分最高提升 195%。
递归自我改进（recursive self-improvement，RSI）要环境不断出新题，还要能自动判断系统是否变好。固定测试集做不到：题不换，答案也可能进了训练集。
现实事件预测把三件事放在一起。题来自正在发生的世界，对错等开奖，世界一变分布就变。已有系统大多只追单次命中率。自我训练没有外部真值。持续学习吃的是切好的任务流。推理强化学习只管手边的奖励。人大高瓴和 IQuest 的 EvoForesight 把预测做成参数、技能和出题一起滚动的闭环。
Prometheus 每天从 125 个网站收新闻和赛程，用模板和 Codex 开放发现出题，再做时间过滤、去重和多样性筛选。自建评测只问次日揭晓的事件，由 Codex 检索公开结果打分，并关掉对抗出题。FutureX 是外部周榜，用滑动窗口 Bradley-Terry（BT）按真实开奖排名。
Branchus 把取证和预测拆开。搜索组含调度、检索、批评，只在题目开放时上网，看到什么取决于何时搜。预测组只读缓存轨迹并给出概率。技能分四层，从跨域原则落到具体步骤。人工种子起步，其后只加蒸馏条目。
Athena 用同一条轨迹更新三处。参数层用 GRPO 只训预测组，奖励是最可能选项是否命中开奖，优势在同题的一组采样里标准化。成功轨迹另做微调（RFT）。技能层不改权重，评判不看开奖，只按角色打分、过滤再归纳。环境层按题型统计错误率，把最差一类写成出题技能，下一轮专出当前最弱的题型，题仍要可客观判定。
开奖之后答案会上网。预测组若还能重新搜索，强化学习就会学成查答案。缓存把多轮更新锁在开奖前的证据上。
FutureX 上，自进化预测器连续三周在全部系统中排名第一，评分最高提升 195%。正文没有给出这 195% 的起止分数。四周的滑动窗口里，Branchus 每周处于或贴近榜首。
自建榜有 23 个框架与模型的组合。Branchus 在四个基座的组内 BT 都是最高，领先从 10.7 到 0.5 不等。
| 基座 | Branchus 的 BT | 组内最强基线 | 全局排名 |
| Qwen3.8-Max | 62.2 | MAS 51.5 | 1 |
| GPT-5.6-Sol | 57.9 | MAS 55.0 | 2 |
| DeepSeek-V4-Pro | 56.4 | MAS 55.9 | 3 |
| Claude-Opus-4.6 | 53.1 | OpenClaw 51.2 | 9 |
选择题准确率拉不开，基线有时更高。DeepSeek-V4-Pro 上 MAS 为 72.7%，Branchus 为 71.9%。Claude-Opus-4.6 上 OpenClaw 为 73.8%，Branchus 为 73.0%。差距在校准。Qwen3.8-Max 上 Branchus 的 Brier 为 0.336、相对 WIS 为 0.737，都是组内最好。Claude 上 Brier 0.331 也是组内最低。GPT-5.6-Sol 上相对 WIS 为 0.865，同样最好。DeepSeek-V4-Pro 上 MAS 的 Brier 0.340、相对 WIS 0.823，略好于 Branchus 的 0.341 和 0.835，BT 仍是 Branchus 领先。
参数更新的细账在小模型上。Qwen3-4B-Thinking 和 Qwen3-8B 做 RLVR，选择准确率各升 1.3 个百分点，数值分 1-bWIS 分别升 0.31 和 0.38。GLM-4.7-Flash 两轮 RFT，题目从 600 增到 1000，Brier 从 0.651 到 0.636，再到 0.630，相对 WIS 从 1.02 到 0.99，再到 0.98。
技能不改权重。轨迹按 88、186、262 叠三轮，Brier 从 0.135 降到 0.122，MAPE 从 2.80% 降到 2.28%。领域从 168 扩到 479，任务从 173 扩到 505。结构化题的工具调用从 32 次降到 18 次，MAPE 至少与无技能时持平。开放题从 30 次增到 34 次，MAPE 从 3.40% 降到 2.31%。蒸馏一条轨迹平均约 30.3 万 token。
按弱点出题后，同一检查点的选择准确率从 0.60 降到 0.53，Brier 从 0.52 变到 0.58，AUROC 从 0.678 到 0.68。同样 262 条轨迹，技能数从 1312 增到 1403。在这些难题上做 RFT，相对普通 RFT，Brier 低 1.6%，AUROC 高 2.7%，相对 WIS 紧 1.0%，Md-sAPE 好 4.0%。
任务会过期，答案事后会公开。取证锁在截止前，学习只读冻结证据，强化学习才不会学成查答案。
技能便宜。几十到几百条轨迹就够改搜索。结构重复的题少调用，陌生题搜得更开，但只会重组已有做法。参数更新更贵，动的是如何权衡同一份证据。每轮蒸馏、偶尔再训预测组，是论文给出的省算力搭配。
命中率经常只动一个百分点上下，BT 和校准拉开的差距更大。递归目前是两到三轮。这是预测场景里的系统改进，离一个通用自我改进范式还有距离。
经验的量和质卡住上限。可判定、信息量够的事件若稀少，或强依赖某种文化语境，轨迹就薄。开奖要等事件发生，跨月的题会把每一轮拖得很慢。分布一变，旧技能可能失效。遗忘、按时间加权和失败检测都还没有。出题只利用已经答错的类别，过度自信这种不表现为选错的弱点进不了下一轮。参数侧也还没有像技能库那样逐轮加厚。
195% 没有在结果正文给出起止分。正文写四个 Branchus 占满总榜前三，表 1 里 Claude-Opus-4.6 这一档是全局第 9。RLVR 的 1.3 个百分点做在 4B 和 8B 上，主榜是更大的前沿模型，两套实验不在同一张表。技能实验的 Brier 约 0.13，主榜约 0.33，切片不同。Codex 检索开奖若找错，奖励就脏。奖励只看命中与否，校准提升却更大，两者是否匹配没有单独检验。泄漏率没有测，防污染靠的是缓存设计。