ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds
Ming Zhang, Zhenghao Xiang, Peizhong Gao, Yujiong Shen, Yuhui Wang, Zhonghan Yue, Shihan Dou, Zhangyue Yin, Junjie Ye, Shichun Liu, Weihuang Zheng, Jiahao Chen, Jiayi Chen, Hongzhang Liu, Jiaqi Shao, Tao Gui, Qi Zhang, Xuanjing Huang, Suncong Zheng, Maxm Pan
cs.AI, cs.CL
2026-09-25
复旦与腾讯混元用可执行、反常识的外星世界测探索。十个前沿系统四轮后AlienCode最好轨迹87.6%,无环境反馈不超过11%;同系统三条轨迹最多差72.8点。
科学探索要自己选题、做实验、改信念,再把新规则用到没见过的题上。现有基准要么把新知识直接塞进提示,要么评分看的是世界状态而不是事后迁移。真发现又难即时验收。ExplorationBench 把这件事收成两个可执行、故意反常识的沙盒,答案由解释器或证明检查器打分,不经过 LLM judge。
AlienCode 是一门看起来眼熟的计算语言,31 条隐藏规则,70 道留出题(37 基础、15 嵌套、8 天花板、10 覆盖)。整数字面量会跟 27 做 XOR,所以 EMIT(100) 打出 127;PLUCK 从 1 数,手册却写从 0。部分规则故意保持原样当红鲱鱼,每条被改规则至少对应一道留出题。程序用私有输入跑解释器,背例子过不了。AlienLogic 是一阶自然演绎,24 条被改过的推理规则,同样 70 道题,不可证题只有正确拒证才给分。
协议分三截。种子阶段给同一份有错手册和十个固定例题,避免把学语法算成探索。探索阶段四轮,系统自己选探针、读回结果,上下文里不再塞别的。里程碑关掉工具,对 70 道题各答三次,并报告自己以为发现的规则。主指标是三条独立轨迹里终点最高的那条(Best@3),同时报 Mean@3 和最差终点。对照包括:同等轮次但不给环境反馈、回放自己最好的探针、固定模板探针、探索前开卷、以及探索后再开卷。
评了十个前沿系统,各开最高推理档,每沙盒三条轨迹。预算(工具次数、探针单元、token)只记录不计入分数。AlienCode 每条轨迹几乎用满 45–48 次工具调用,分差不是因为谁更勤奋。
探索前 AlienCode 没有任何轨迹超过 15.7%。四轮后 Best@3 到 87.6%(Claude Opus 5),十个里七个超过 60%。同等思考轮次但不给反馈,AlienCode 停在 0.5–11.0%。AlienLogic 起点 32.9–51.9%,Best@3 到 58.1–83.8%(Grok 4.6 最高)。两条关键规则 PLUCK 和 CARVE 的越界计数进入 70 题里的 51 题:终点 ≥50% 的 15 条轨迹里 13 条两条都说对,终点 <25% 的 9 条里 6 条一条都没说对。
| 系统 | AlienCode M4 | AlienLogic M4 |
| Claude Opus 5 | 87.6 | 77.6 |
| GPT-5.6 Sol | 87.1 | 75.2 |
| Grok 4.6 | 67.6 | 83.8 |
| DeepSeek-V4-Pro | 12.9 | 73.8 |
谁设计实验很要紧。AlienCode 上自主探索中位数 66.0%,回放最好探针掉到 40.7%,固定探针 5.7%;9/10 个系统自主高于回放,中位差 17.1 点。Gemini 3.8 Flash 是例外(回放 85.2% 对自主 77.6%)。两个沙盒排名 Spearman 只有 0.35:Grok 4.6 从第五跳到第一,Gemini 从并列第三掉到最后。AlienCode 上 7/10 个系统自己探索超过开卷;AlienLogic 开卷 93–97%,没有一条探索轨迹追上。规则说对了,对应题仍只做出 70.9%。同系统三条轨迹最多差 72.8 点(Kimi K3 在 AlienCode 上 4.8% 对 77.6%),答题噪声最多 4.7 点。30 条 AlienCode 轨迹里有 6 条终点比更早里程碑低至少 3 点。收益常集中在一轮大跳,占保留增益的 45–92%。
这是少有的把「会不会自己找证据」和「会不会用新规则」拆开测的基准。开源训练如果只刷静态知识题,在这里会接近零。Best@3 测的是能不能走出一条有效轨迹,不是稳不稳定,论文把 Mean@3 和最差轨迹一并报了。
两个世界都是确定性、可执行的玩具。真实科学有噪声、代价和不完整观察,地平线也远长于四轮。每系统三条轨迹暴露了方差,估不准分布。AlienLogic 开卷就能到 93–97%,探索几乎加不上分,这个沙盒更像发现瓶颈而不是使用瓶颈。