腾讯混元ExplorationBench:GPT自主探索88.1%,直接告知规则反仅69.5%
机器之心 · wechat · 2026-10-20
复旦、腾讯混元与清华联合推出 ExplorationBench，评测 AI 系统在规则完全陌生的「异星世界」中的探索能力，此前推 CL-bench 的同一批团队出品。基准构造了两个可形式化判定的沙盒：编程语言 AlienCode（31 处规则被改、无加法原语）和逻辑证明系统 AlienLogic（24 条自然演绎规则被改），共 55 个发现目标、140 道留出题，全程无 LLM 裁判。
主要发现：
- 探索有效：读完示例后 AlienCode 最高仅 15.7%，四轮探索后最好轨迹达 89.0%，十个系统中七个超 60%；AlienLogic 从 33.8%–51.9% 升至 59.5%–81.0%。
- 反馈是关键：不给环境反馈、只多思考，AlienCode 最高仅 11.0%，AlienLogic 中三个系统反而退步。
- 自己设计实验更好：AlienCode 中自主探索中位数 67.4%，回放自己最佳探针但失去选择权降至 41.2%，随机探针仅 5.7%。
- 发现规则≠会用规则：AlienLogic 中直接给规则可达 96%–100%，瓶颈在发现；AlienCode 反过来，GPT-5.6Sol 自主探索 88.1% 高于开卷告知规则的 69.5%，30 条轨迹中 26 条探索后超开卷，中位差 14.5 个百分点。
- 即使规则报告全对，题目也只有 73.4% 答对；同一预算下同一系统探索结果高度分散（KimiK3 从 5.7% 到 79.0%）。
被测系统包括 Claude Opus 5、GPT-5.6 Sol、Gemini 3.8 Flash、Grok 4.6、Kimi K3、Qwen3.8-Max、Hy4preview 等十个前沿模型。
「模型」频道最新
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- 爆料称 Anthropic 正训练对标 OpenAI 内部模型的新模型 — imjustnewatai · 2026-10-23
- AI 研究者：Claude 替我完成了多年前放弃的繁琐研究任务 — MikePFrank · 2026-10-23
- Dream Labs 出 stealth:双手机器人基座模型 Dream-1,时租仅 3 美元 — scott_e_reed · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- Beam 对战 GLM 5.3 去审查版：10 轮攻防修补 96% 漏洞 — bigblueboo · 2026-10-23