Dream-RSI: Recursive Self-Improvement through Evolving Worlds
Tong Zheng, Xidong Wu, Zheng Zhang, Zhankui He, Chaoyi Zhang, Benjamin Coleman, Ruoqiao Wei, Di Bai, Haolin Liu, Rui Liu, Xue Wang, Yue Zhuan, Wang-Cheng Kang, Renkai Xiang, Heng Huang, Xinwu Cheng, Yunsong Guo
cs.CL
2026-09-14
Google把历史发现树当成零执行成本的回放模拟器，离线改探索策略再上线。Lasso上317次调用跑到2931毫秒，SimpleTES用51200次才到3805毫秒。
自主发现系统的瓶颈已经从「会不会写候选」转到「怎么分配探索」。固定策略不会随搜索空间变大而改；在线优化探索策略又贵：评估一条元策略，往往要跑完很长一串提案-评测，反馈延迟高，元搜索空间还很大。
Google 这篇的直觉很具体：已经跑完的发现历史不是只能当 prompt 上下文，它可以当成对已实现搜索空间的 replay simulator（回放模拟器）。换一条探索策略，等于在同一棵树上选不同分支、不同顺序、不同并行度和不同停时。节点上的代码执行结果已经存好，回放不用再调 coding agent。
Dream-RSI 在 coding agent 外包一层可编程编排，控制从哪些节点继续、一次并行多少、何时停止。底层发现模型和评测器始终冻住，改的只有探索策略代码。
闭环分三步。线上，当前策略展开一棵发现树并写入历史。离线，历史树变成可回放的 simulator pool。策略开发 agent 提出一批候选策略，在已记录树上做梦：从根开始按策略揭示子节点，用存好的分数立刻打分。回放目标是三项加权：轨迹上的最好分数，减去尝试次数，加上每轮平均并行度。选完平均回放分最高的版本，再部署到下一轮线上探索，新树并进池子。
因为候选集包含当前策略，下一轮在固定历史上的平均回放分不会变差。这保证的是回放分数，不是线上新树上的真实分数。
对照是 Recursive Fixed Exploration：同一发现 agent、同一初始并行精炼策略，后续轮次不改策略。Lasso 正则化路径任务上，Gemini-3.1-Pro 把六个 held-out 数据集的平均运行时间从 3587.1 ms 降到 2931.0 ms，发现调用从 550 次降到 317 次。Gemini-3.7-Flash 从 2516.7 ms / 3200 次降到 2350.6 ms / 1879 次。sklearn 平均 44180.3 ms，glmnet 13767.5 ms，SimpleTES 用 GPT-OSS-120B 跑 51200 代、平均 3804.8 ms。317 对 51200，大约 162 倍调用差。
数学三项用 Gemini-3.1-Pro、不到 1000 代：Sum-Difference 1.145427，高于 SimpleTES 的 1.143975 和固定策略的 1.144047；Circle Packing 2.635983，与多篇最强报道打平；Autocorrelation 1.456375，略差于 SimpleTES 的 1.453675（该项越低越好）。
KernelBench 四个核上，相对同一 Gemini-3.1-Pro 的固定策略：VGG16 和 LayerNorm 用 2.43×、1.79× 更少的代次达到相近性能；ConvDiv 和 ConvMax 在相近预算下性能高 2.09×、1.44×。把历史写成语义指导塞进 prompt，在 ConvDiv 上反而更差。策略行为会自适应：ConvDiv 上评估次数从 110 降到 50，平台期后再加回探索。
这是把 Dreamer 式「在世界模型里做梦」搬到 agent 发现层，而且世界不是学出来的动力学，是已执行轨迹的回放。对跑 AlphaEvolve 类搜索的人，含义很直接：先把探索决策做成可执行策略，再把历史树当成免费的元评测器，而不是每改一次策略就重跑几千次生成。
公平对照是同一模型上的固定策略。相对 SimpleTES 的 162 倍，混了模型家族和预算口径，只能当数量级参考。
回放只能走已经长出来的树枝，发明新方向必须付线上成本。Sum-Difference 的绝对增益很小，Circle Packing 多家打到同一数字，更像碰到已知构造天花板。Autocorrelation 仍输给花 51200 代的 SimpleTES。策略改进本身靠另一个 LLM 改代码，没有证明改进步骤收敛，只保证回放分不降。论文没有独立 Limitations 节，也没有把回放最优策略和线上真实最优对齐到什么程度量化出来。