InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants
Qinsi Wang, Wei Wen, Chong Zhou, Saksham Suri, Zechun Liu, Lemeng Wu, Hai Helen Li, Yiran Chen, Raghuraman Krishnamoorthi, Qi Qian
cs.HC, cs.CV
2026-10-25
用语言指挥仿真人的120道题里,理想助手通过率100%,最强模型只有41.7%,长程引导和规划是20%和25%。
穿戴式助手不动手。它看第一人称画面(egocentric,头戴摄像头的视角),只用话说下一步。人做完,下一帧才变。
录好的视频基准是开环的:模型作答,或决定插不插话,画面都不变。真帮忙时指令会改动作,动作再改下一帧,看、记、说要在同一段多轮对话里一起用。请真人把这个环闭合,贵,也难复现。
InteractiveWorld 建在 Isaac Sim 上,从 BEHAVIOR-1K 导入 8000 多个物体、50 多个场景。助手共享画面和历史,每回合只能插话、沉默或结束。另一个 MLLM(多模态大模型)扮演人,把话收成 36 个动作原语,只写动作和对象。全身人体负责寻路、抓取,并给出下一帧。危险动作会在执行前被拒绝。
通过与否只看物体状态是否全部达成。MCR(平均完成率)记每题完成了多少比例的目标。InteractiveBench 有 120 道人工复核的多轮任务,六类分别是逐步带领、限时排程、给看不见的人描述现场、一次判断、提前警告、凭记忆找东西。其中 Accessibility 不向人类提供视觉。
人固定为 Gemini 3.1 Pro。它可以使用全部合法动作,但必须听从助手,不能按自己的意图行动。每回合最多 32 帧,每个动作采 4 帧;超出就保留最近 8 帧,再均匀抽取 24 帧旧画面。同一个人类,Oracle 助手的通过率是 100%,完全不协助是 0%。
12 个前沿模型里,最强的 Claude Fable 5.1 只通过 41.7%,其余都不超过 33.3%。
| 模型 | 通过率 | Guidance | Planning | Decision |
| Claude Fable 5.1 | 41.7% | 20% | 25% | 85% |
| Claude Opus 5 | 33.3% | 15% | 25% | 70% |
| Muse Spark 1.1 | 31.7% | 20% | 25% | 55% |
| GPT-5.6 Sol | 30.8% | 20% | 25% | 70% |
| GLM-5.3-Flash | 30.0% | 15% | 20% | 50% |
| DeepSeek-V4.1-Flash | 12.5% | 0% | 5% | 35% |
没列进表的总通过率还有 GPT-5.5 30.0%、Claude Opus 4.8 28.3%、Kimi K3 24.2%、Qwen3.8-Max 22.5%、Gemini 3.1 Pro 20.8%、GPT-5.6 Luna 20.0%。Fable 在 Accessibility、Prevention、Finding 上是 30%、50%、40%,MCR 为 54.8%。少掉一项状态,整题就失败。
Decision 多半看一眼就能判断,最好到 85%。Guidance 和 Planning 要一路跟踪并改计划,最好只有 20% 和 25%,任务变长就掉得很快。Claude Opus 4.8 的 Guidance 是 0%。首错之中,看错或记丢占 70.4% 到 85.7%。Gemini 3.1 Pro 的首错有 69.8% 是看错物体。Kimi K3 则是记忆 39.2%、感知 33.8%。看错一次,后面的指令会顺着错下去。
九项能力的平均分拉不开差距。Fable 是 59.2%,GLM-5.3-Flash 是 58.2%,沟通一项是 79.6% 对 69.8%,任务通过率差 11.7 个点。Fable 自己的首错里,还有 13.6% 是没把目标说成对方能执行的步骤。主动性一列最薄,Fable 44.4%,DeepSeek-V4.1-Flash 21.9%。
步数只在该模型已经通过的题上,除以 Oracle 的步数。Guidance 和 Accessibility 常见 2.35 倍到 3.66 倍。Fable 总通过率最高,Accessibility 上要 6.75 倍,Prevention 上只要 1.20 倍。Kimi K3 在 Finding 上是 1.00 倍,Guidance 上是 3.66 倍。给助手加一栏隐藏记忆,Prevention 和 Finding 上升 5 到 15 个点,两个模型的 Planning 下降 5 个点。把四个人类模型和助手对调,Fable 当助手始终第一,GPT-5.6 始终最后。四个助手的最高分,都出现在 Gemini 3.1 Pro 当人的时候。Fable 在前三科的平均 MCR,此时为 47.03,人换成 GPT-5.6 则是 40.33。主表用的是更好带的那个人。模型还会叫人环顾、把包装翻过来看标签,提示词没有要求。
录好的第一人称问答看不到「这句话把人带偏了」。这里每条指导都会变成下一步动作,奖励来自仿真器里的物体状态,训练时不用再请一个模型当裁判。
看一眼做决定,最好已经 85%。跟着人把一件长任务做完,最好仍是 20% 和 25%。沟通清单差大约 10 个点,做完的题就少 11.7 个点。多出来的步数是用户在走的路。眼下更有用的是这块场地。代码已公开,跑起来要 Isaac Sim。
主表里的人是 Gemini 3.1 Pro。换成人模型之后名次大体还在,Fable 前三科的 MCR 可以差出大约 7 个点。正文把模拟人校准到真人写成以后的工作。附录列了真人参与的补充验证,正文没有这组数字,不能把 41.7% 读成眼镜戴在真人头上的成功率。
人被要求服从,不许按自己的意图行动。无人协助时的 0%,同时反映题目难度和这条约定。真人会丢掉一句坏指令,也会抢在助手前面动手。运动层会修正小碰撞、改站位,倾倒和切割用的是预制轨迹。措辞差一点、仍能被执行器做完的指令,会计入成功。测到的是看、记和说。
效率不算失败的那些回合。32 帧的上限让长任务依赖抽帧,记丢和帧被丢掉各占多少,没有拆开。120 题分到六类之后,类别通过率以 5 个点跳动,一道题就是一档。附录核对过的 51 个场景布局里,44 个能进入通用任务,资产仍是 BEHAVIOR-1K 的仿真场景。论文把该环境称为第一个同时盖住第一人称、人来执行、自由语言落地、多轮对话、闭环和状态判分的系统。EgoSchema、HoloAssist 一类前作不让回答改写后续画面。这条差异成立。六条边界怎么划,仍可以争论。