VISTA: A Visual Harness for Reasoning in an Interactive World
Qiushi Han, Keya Hu, Linlu Qiu, Cathy Wu, Kaiming He
cs.AI, cs.CV
2026-10-02
MIT 提出视觉工具层 VISTA，给通用多模态模型无损视觉记忆和按需检视。Claude Opus 5.0 在 ARC-AGI-3 全部 25 个公开游戏拿到 RHAE 满分 100.00，总动作比首次人类基线少 57.4%。
ARC-AGI-3 是一套交互式视觉游戏，规则和目标都不提前给，智能体必须边玩边摸清这个陌生世界。现有主流把它做成语言问题：画面先变成文字网格或符号状态，再靠程序合成搭一个可执行的世界模型。格子世界里这条路有效。场景更视觉、更难写成符号时，状态、转移和目标都会变得很难用程序写清。
多模态模型本来就能直接看图，但常见流水线是把每张图编码一次就丢掉原图。编码后的表征可能压缩、有损；上下文一满，旧观察会被删掉或改写成文字摘要。编码当时模型也不知道后面哪块像素会变得关键。长程交互里，视觉证据丢掉就找不回来。
VISTA 是套在通用多模态模型外面的视觉 harness，一层不训练、不改权重的工具协议。三块：
每回合走观察、推理、行动。检视和读笔记可选，只有 play 才花一步游戏动作。模型自己维护两份笔记：GUIDE.md 记跨关仍有用的规则，WORKING.md 当本关草稿纸。上下文快满就写交接摘要，在新窗口从当前状态接着干，笔记、视觉记忆和动作历史都还在。默认输入是官方 64×64 帧近邻放大 8 倍后的 512×512 PNG。
一次编码抓不住以后所有细节。原图留下，让模型回头自己找。
ARC-AGI-3 的 25 个公开游戏上，官方无程序基线：GPT-5.6 Sol（max）RHAE 13.33，Claude Opus 5.0（high）40.68。RHAE 是相对人类动作效率，通关关卡按动作数相对首次人类给分，比人少可到 115%，没通关记零，后面关卡权重大，单局分被已完成关卡的加权比例封顶。
同一模型套上 VISTA 后，Opus 5.0（xhigh）拿到满分 100.00，总步数 7,302，比首次人类 17,135 少 57.4%；GPT-5.6 Sol（max）99.00。同期程序合成系统 Tycho、Retrodict 也在 99 到 100。目前公开结果里，这是不用程序合成就打到满分或接近满分的视觉系统。
GPT-5.6 Sol 的组件消融：
| 配置 | RHAE |
| 官方文字网格 | 13.33 |
| 换成 PNG 图 | 47.32 |
| 放宽动作与时间上限 | 51.66 |
| 加连续对话与上下文压缩 | 65.82 |
| 加 GUIDE.md 与 WORKING.md | 70.05 |
| 加无损记忆与检视 | 94.10 |
| 再加像素读出（完整 VISTA） | 99.00 |
70.05 到 94.10 这一跳来自无损记忆加检视。图像相对文字网格：RHAE 99.00 对 96.75，总步 9,126 对 10,614，每局 token 从 71.9M 降到 30.7M。上下文 200K 时 RHAE 最高，缩到 100K 只掉 0.4 分，token 大约减半。输入从默认 8× 降到 4×，图像 token 大约少 75%，论文称分数仍接近。开源后端 GLM-5.3 Flash 320B 上，官方 1.89，完整 VISTA 66.93。同一游戏改 3D 渲染，RHAE 84.12，步数从 9,126 涨到 20,640。
同一套 harness 几乎不改就接到另外三个环境，后端都是 GPT-5.6 Sol。GameWorld 34 款浏览器游戏、170 个任务：成功率 63.3%、进度 79.3%，高于新手人类成功率 40.0% 和官方最小 harness 的 20.0%。AI GameStore 10 款游戏上，人类中位数记为 100，VISTA 几何均值 140.3。BabyVision 里 39 道静态视觉追踪题，准确率从官方 41.0% 提到 63.2%。
这是 harness 工作，底座模型没改。交互视觉环境里，通用多模态模型经常卡在「看见过，需要时却没法再看一眼」。对做视觉 agent 的人，能拿走的是这套接口：原图存档、模型主动检索、笔记外置、窗口满了就交接。长程对照像素细节的界面操作，这套逻辑都适用。
工程上是渐进的。消融里这一档仍然差出大约 24 分 RHAE，超出调参噪音。账单在 token：默认每局大约 3,070 万，而且主力分数来自闭源后端。开源 320B 只到 66.93。harness 能把能力榨出来，不能凭空造能力。
论文自己点了两处。成功高度依赖底层模型已有能力，VISTA 只负责把它们引出来。用到的模型都在这些公开基准发布之后才上市，无法排除游戏进过训练集；ARC-AGI-3 私有集才是更干净的泛化检验，这篇没报。
官方 Opus 对照用 high 力度，VISTA 跑 xhigh，两边设置有差。更干净的对照是同为 max 的 GPT-5.6 Sol：官方 13.33，VISTA 99.00。RHAE 满分 100.00 是计分封顶后的数字，单关可以比人更少步，游戏分仍受通关比例限制。3D 渲染掉到 84.12、步数翻倍有余，视觉一变复杂，这套记忆仍然贵。BabyVision 只评了 39 道追踪题，完整集是 388 题。评测走闭源 API 加 Claude Code / Codex CLI，复现成本和方差都不好估。GameWorld 和 AI GameStore 超过的是新手或中位数人类，高玩不在对照里。