GAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World Models
Shuai Wang, Yaxin Feng, Xuekun Jiang, Shihan Tian, Ningyu Yan, Xing Shen, Chaoyang Lyu, Hui Wang, Yunsong Zhou, Hanqing Wang, Jiangmiao Pang, Yang Xiang, Xing Gao, Chunhua Shen, Weinan Zhang
cs.AI, cs.CV, cs.RO
2026-08-06
上实验室用约 1560 次真机动捕建 GAUGE，同时测物理引擎和视频世界模型。三家引擎无一全场领先；世界模型方程形状对了，加速度和周期仍能差一个数量级。
具身训练和评测已经离不开仿真。SIMPLER 这类工作说明：仿真对齐得好，策略在仿真里的相对名次能预测真机。前提是仿真里的运动、接触、形变跟真世界是一回事。视觉好看不够。引擎可以渲染得很像，接触冲量、布料抖动、软体模量全是错的，策略就会去钻仿真漏洞，排行也会排错。
视频世界模型被当成另一种隐式仿真器：给第一帧和一句提示，往后滚未来。现有评测大量靠「看起来合不合理」或人工打分，说不清违反了哪条物理、错在哪个参数。
GAUGE 要的是同一套真机实验，同时诊断数值引擎和生成式世界模型。上海人工智能实验室牵头，港科大、上海交大、浙大合作，通讯作者高星。
任务面是 22 个受控实验族：8 个刚体（碰撞、摩擦、动量、周期）、1 个绳子、6 个织物、7 个体积软体。材料有木头/塑料/金属、六种布、软硬泡沫。采集在 2 米立方动捕棚里，16 台 NOKOV Mars9H，180 Hz，毫米级。刚体贴标记恢复 6 自由度位姿；布和软体把相邻标记连成网格，记每个标记轨迹。每项任务约 20 次独立试验，轨迹降到 30 fps，并附带标定过的质量、摩擦、恢复系数、拉伸/弯曲刚度、杨氏模量和泊松比。作者称全套大约 1560 次动捕。
引擎轨评 Isaac Sim 6.0.0、Genesis 1.12.0、Newton 1.3.0，覆盖 14 个任务族。场景按数字资产和动捕初态重建，物理参数用 GAUGE 标定值，其余保持默认，测的是开箱表现。刚体分别走 PhysX、Genesis 原生求解器和 MuJoCo；织物走 Surface FEM / PBD / VBD；体积软体走 FEM 与显式/隐式 MPM。误差用广义轨迹：刚体看质心位置，织物看标记处高斯曲率，软体看标记三角形面积，再报 RMSE 和 DTW。牛顿摆和单摆另加最长静止时长、动量传递效率、周期、能量损失。仿真误差会除以真机重复试验的组内 RMSE，低于 1 表示仿真偏差小于真机自己的重复误差。
世界模型轨只做刚体，因为现有模型三维一致性和形变仍然差。六个模型：Cosmos3-Nano、Cosmos3-Super-I2V、Wan-2.2、Wan-2.7、Seedance 2.0、Genie 3。同一张正视第一帧加统一文本提示，SAM3 跟目标，像素质心按已知尺寸换成二维轨迹。指标拆成两层：方程形状（R²、二次项改进量 QFI）和参数对不对（加速度、动量传递、周期）。对 Cosmos 和 Wan 还做了有无负向提示的成对消融。
没有一家引擎全场第一。
刚体常规接触和滑动还过得去。Isaac Sim 在斜面接触、非光滑接触、转盘上误差最低，转盘归一化 RMSE / DTW 只有 0.17 / 0.61。Genesis 在斜面滑块最好，RMSE 0.58、DTW 0.69。一进入冲击和动量，缺口就拉开：弹跳球最好的归一化 RMSE 仍是真机基线的 15.63 倍；牛顿摆上 Isaac 和 Newton 的最长静止时长都是 0，动量传递效率只有 0.20 和 0.26，Genesis 直接没有有效 rollout。单摆频率 Isaac / Newton 归一化周期 1.10 / 1.09，Genesis 到 2.47；拉长到 3000 帧后能量误差落在 −0.041 到 0.034，低频对了不等于冲击和长程能量也对。
| 场景 | 最接近的引擎 | 关键数字 | 对照 |
| 转盘滑动 | Isaac Sim | 归一化 RMSE 0.17 | 低于真机重复误差 |
| 斜面滑块 | Genesis | RMSE 0.58 | Newton 1.95 |
| 弹跳球 | Isaac Sim | RMSE 15.63× 基线 | 冲击仍差一个数量级 |
| 牛顿摆动量 | Newton | MTE 0.26 | 真机约 1，Genesis 无结果 |
| 织物甩动 | Genesis | RMSE 8.54 | Isaac Sim 128.26 |
| 泡沫拉伸/剪切/扭转 | Genesis | 仍约高一个数量级 | Newton 弯曲略好 |
织物准静态拉伸 Isaac / Newton 能把误差压到 1 附近；一弯、一甩就散。体积软体最好的结果仍比真机基线高大约一个数量级。
世界模型这边，形状对、参数错是主旋律。斜面木头最好的加速度估计 2.06 m/s²，真机 2.58；塑料和金属最近的估计只有 0.75 和 0.43，真机是 2.57 和 2.67。弹跳球上 Cosmos3-Super-I2V 加负向提示把 QFI 降到 12.50，推出来的加速度却是 0.088 m/s²，重力该是 9.81；Seedance 最接近也只有 1.84。牛顿摆十个配置里六个给不出有效序列，最高动量传递是 Wan-2.2 加负向提示的 0.76。单摆 Wan-2.2 和 Genie 3 的 R² 到 0.99，周期却是 1.93 s 和 1.90 s，真机 1.06 s；最接近的 Wan-2.7 也是 1.83 s，大约长 73%。负向提示没有稳定增益：同一招能修好弹跳球的 QFI，也能把木头斜面的 QFI 从 13.61 抬到 569.36。
给做具身仿真和世界模型的人一条能对参数的尺子。选引擎不能再只看「衣服看起来软不软」。刚体接触 Isaac 更稳，动态布和多数软体 Genesis 更好，个别形变 Newton 占优。世界模型如果只用人工「像不像」打分，会把方程形状和物理尺度混在一起，GAUGE 把这两层拆开了。
这是诊断基准，不是新求解器。开箱默认参数、不调参，对已经会做任务级标定的团队，分数会偏严。它仍然比「看起来合理」更接近能改代码的信号。
作者自己写了：材料种类和参数范围窄，同名布料的表面处理、温湿度、磨损都会变；流体和流固耦合不在当前范围。世界模型轨只用二维图像轨迹，布和软体的分布形变、自遮挡、自接触评不了。引擎只测了 14/22 个任务族。动捕标记对轻质布并非严格零质量，虽称可忽略，高速甩动时仍可能掺进观测。负向提示成对实验说明分数对提示模板敏感，单次好看的生成不能当结论。