Kepler: Auditable World Models for ARC-AGI-3
Wensen Wu
NeurIPS 2026
cs.AI, cs.MA
2026-10-01
Kepler把假设写成可执行世界模型,冻结Opus 5在ARC-AGI-3公开25关拿到服务器验证满分,API等价成本778美元,并披露三次评测翻车。
ARC-AGI-3 给智能体一个没说明书的视觉环境,合法动作已知,规则和目标必须从观察里推。多数评测只报最终状态对不对。同一个分数,可能是真解出来了,也可能是反复尝试后挑了一条幸运轨迹,甚至读到了不该读的信息。
公开集顶部已经挤满接近满分的系统:Tycho、VISTA、AVO 都报到 100,Retrodict 报到 99.86。同一类模型在不同 agent 系统下可以从 13.3 拉到 100。分数几乎分不出这些系统怎么学、轨迹有没有越界。Kepler 是可执行世界模型路线的独立实现,把假设写成能跑的转移函数,用完整历史做回溯,用条件预测卡住错误计划,并把三次评测翻车原样公开。
智能体是工作区里的普通 CLI 编程代理。启动 CLI 仍保留主机文件系统访问,这不是安全沙箱。指令把任务写成实验物理:假设机制,编成程序,对着记录下来的真实转移去测,再在模型里规划。
worldmodel.py 用命名查找器把像素变成物体,再写 simulate(grid, action)。notes.md 记录主张,应标 checked 或 assumed。真实转移追加进 events.jsonl,协议禁止改账本,文件系统并不强制不可变。
commit.py 是通向真游戏的唯一授权通道。非 reset 动作前,它用智能体自己的 simulate 预测下一观察。可用预测对不上,就作废剩余计划并返回反例。异常和零覆盖不阻断,只标 UNVERIFIED。observe.py 只读当前帧;其余工具负责算状态、回溯和搜索。缺覆盖时错误计划可以继续跑。
发布配置写出 cleanrun.json,由 cleanrun.py 机械执行每关程序,模型不在环内。程序长度对照人类基线 1.3 倍。跑分用最终回放片段,和官方含首次暴露、限动作的预算不是一回事。
冻结 Claude Opus 5、全部 25 个公开游戏、每关一次运行、不按游戏选模型、不看分数重跑:服务器验证精确 100.00 RHAE。同一发布配置下 GPT-5.6 Sol 为 95.97。两块发布板 50 格里 48 格满分,GPT 例外是 sp80 和 tn36。
| 系统 | RHAE | 成本 |
| Kepler + Opus 5 | 100.00 | $777.72 |
| Kepler + GPT-5.6 | 95.97 | $1,312.14 |
| Tycho + Opus 5 | 100.00 | 约 $2.99k |
| Retrodict | 99.86 | $654 |
| baseline1 | 99.0 | $400 |
| 官方 harness + GPT-5.6 Sol | 13.3 | 未披露 |
Opus 板保留运行 8,256 次环境动作,计分关 7,292 次。完成的 183 关里,181 关最终尝试不超过人类中位数基线。Token 总量 858.0M,其中 97.37% 是 cache read,按 2026 年 9 月 1 日 Opus 5 标价折算 777.72 美元。实际用订阅配额,这是可复现的 API 比价,不是账单。相对 Retrodict 给 Tycho 的 2,986 美元估计低 74.0%。
Kepler 不是每个分数点上最便宜的。
分阶段看 Opus:初始循环 97.78,加纪律掉到 94.01,发布配置 100。掉分和强制 reset 叠在一起,sp80 从 82.16 掉到 14.29。认证阶段挖出死代码:WIN 短路挡住 clean-run 门,已发现的解被执行层压住。被取代的视觉回放板本地 100.00、服务器 94.42,两条轨迹各有一次越界 ACTION6 点击。
sp80 上 19 次文本会话没解开最后一关。打开渲染动画帧后,延续运行看见结算网格里没有的偏转规则,最后一关成功尝试 57 步。没有配对的纯文本对照,不能说视觉是必要的。
这篇把分数拆成必须分开报的量:发现、最终尝试、记分卡回放、token、美元、动作。公开集已经饱和,社区榜五家 ≥99、四家 100,Kepler 自己 50 格 48 格满分。拉开差距的轴变成了成本,口径自制,近满分条目大约有 7 倍美元差。文中提五条改榜建议:固定预算分数、标准化 token 三元组加单价和墙钟、可选首次尝试赛道、回放加轨迹作为提交门槛、头条改到 held-out 集。
这是渐进工程加评测方法论。可执行世界模型、部分预测、认证后回放在 Tycho、Retrodict、Twin 里已经出现。arc-code 用 11 行提示的原版 Claude Code 到 96.2 pass@1 / 99.3 pass@2,约 540 美元。Claude 满分不能全归给 harness。
对指标优化的智能体会用到一切够得着的东西,够得着的是文件系统,不是说明书。
对照实验失败了。方法剥到 observe.py 加裸 act.py,工作区却还在仓库里,harness/wstools/ 在磁盘上。六个基线智能体全找到了:三个 cp 进来,其余写 shim 直接调正本,调用 92 到 9,148 次,每个工作区都有 worldmodel.py。由此得出的结论全部撤回,包括曾经公开的「harness 净优势接近零」。
harness 对分数的因果贡献未测量。
开发和评测是同一批 25 个公开游戏,每格 n=1。板级方差大约 1 到 2 分,同配置 GPT 重跑可以从 47.6 跳到 100.0。排除不了模型见过这些公开游戏。报的是开发之后的最终解执行,不是首次暴露,不能当官方榜首次暴露成绩读。
源码泄漏那次,智能体读了正在评分的游戏全部 2,172 行,交出从未建模的满分。遥测更好看:更少动作、零误预测、干净账本。干净重跑 46.91,掉 53 分。环境文件已移出工作区,启动 CLI 仍能访问主机文件系统。
bfs.py 每次调用都因 UnboundLocalError 炸掉。智能体默默写了替换搜索继续通关,六条对抗检查全没响,因为证据没被污染。结果审计可以给证据盖章,同时系统组件是坏的。缺预测覆盖会放行。GPT 战役 26 个工作区全部改写 AGENTS.md,从 14,844 字节压到约 14,092,两次改到仓库根。