世界模型评测升到六级能力,空间放置准确率最高仅70.14%

HappyWorld-Bench

Zhiqi Bai, Junai Cai, Yixin Chen, Jingrun Du, Tao Feng, Wei Gong, Siyuan Huang, Xiao Lin, Jiaheng Liu, Jun Luo, Yongzhe Lyu, Liya Ma, Zenan Meng, Lin Qu, Wenbo Su, Jiaming Wang, Qinghe Wang, Shaofei Wang, Yanghai Wang, Zequn Wang, Ziming Wang, Hu Wei, Jiangtao Wu, Ruiqi Wu, Jiaxin Xie, Yuchi Xu, Ze Xu, Chengting Yu, Liangyu Yuan, Gang Zeng, Yawen Zeng, Xingyao Zhang, Zizheng Zhang, Bo Zheng, Jiancheng Zhu, Song-Chun Zhu

cs.CV

2026-09-21

阿里与北大等提出HappyWorld-Bench,用W1–W6能力层级评14个视频、9个空间、8个具身世界模型。视觉质量已强,长程状态与动作响应仍差,空间放置最高70.14%。

这篇在解决什么

世界模型的卖点是:智能体先在脑子里推演环境怎么动,再决定怎么做。这个卖点成立的前提,是推演在互动之后仍然靠得住。一张好看的图不够。镜头一转、物体被挡住再回来、改一条物理规则,世界还得对得上。

现有评测把这件事拆散了。视频生成看画质和短程可控,空间生成看场景漂不漂亮,具身预测看动作条件视频像不像。各测各的,很难回答一个更硬的问题:这个世界被探索、被改写之后,还是不是同一个世界。HappyWorld-Bench把三条线接到同一套W1–W6能力层级上,并配上HappyWorld-Arena的人类A/B对战Elo。

方法

能力从低到高六级:W1感知世界(语义、空间、短时连续),W2交互世界(动作驱动的局部状态转移),W3持久世界(长程、遮挡、回访后身份和布局还在),W4可编程世界(改物体、事件或规则,无关内容保持),W5可扩展共享世界(多主体、无限延展),W6通用世界(生成、仿真、规划一体,目前基本不打分)。

三条赛道共用这套层级,接口不同:

人类侧三条赛道都跑Arena。具身赛道报告了62592次盲测成对投票。

结果

视频赛道14个模型。HappyOyster人类Elo 1263,Genie 3为1206。W1上Genie 3以82.8略高于HappyOyster的82.4;W2/W3反过来,HappyOyster是78.0和76.8。W4目前只有支持干预接口的两家:HappyOyster 66.7,LingBot-World-v2 59.3。干预后的状态保真(SF)更难看:HappyOyster 38.61,LingBot 28.58。改规则经常只改了画面,后续动力学没有跟着改。

空间赛道9个系统。Marble人类Elo最高,1308,W1观感也强(79.10)。真正能用的几何是另一回事:HYWorld-2.0放置成功率最高,70.14%;编辑执行最高也是它,73.33%。FlashWorld和两个Lyra变体几乎不可导航,W2只有0.00–1.36。可走和可放还对不齐:WorldGen导航面积接近最高,放置只有51.39%。

具身赛道8个视频模型。MiniMax-H3三项总体分都最高(W2 93.60、W3 91.42、W4 88.62),Arena Elo 1060。Grok Imagine Video 1.5 Elo 1051,W2 93.02。Sora 2垫底,Elo 872,W2仅60.91。观感普遍不差,失败集中在接触没发生、抓错物体、无故换视角,以及W4改材料或重力后动力学几乎不变。

赛道最强信号数字
视频人类偏好HappyOyster Elo1263(Genie 3为1206)
空间放置HYWorld-2.070.14%
空间编辑执行HYWorld-2.073.33%
具身W2总体MiniMax-H393.60(Sora 2为60.91)

为什么重要

这是一份把「世界模型」从生成质量拉回行为正确性的对照表。做视频世界模型的人,不能再用Arena或W1画质当总成绩:HappyOyster赢在人类偏好和W2/W3,Genie 3赢在W1,W4干预后状态保真掉到40以下。做3D场景生成的人,Marble好看不等于能走能放;FlashWorld这类能渲但不能导航的系统,在W2上接近零。做机器人视频预测的人,第一人称画面已经能糊弄观感,接触链和条件物理还过不了关。

从业者如果要把世界模型当规划器或数据引擎,这份表给出的结论很直接:现在更像高清过场动画,不像可查询的状态机。

局限与存疑

W6基本没测,W5只在空间扩展和视频多主体上点到。空间赛道明确承认还做不到时空一体,所以只用静态场景。具身赛道把视频生成模型直接当世界模型,接口是自然语言动作而不是关节指令,跟真机闭环差一层。W4视频只评了两家,横向比较不完整。自动指标大量依赖VLM和Gemini清单,和人类Elo会在近邻模型上换序。论文没有报告评测成本,也没有把下游策略成功率绑进来。这是一份诊断基准,不是一份「用了就能涨点」的方法文。

术语

原文与代码

相关论文

全部论文解读