Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model
Haoyu Zhao, Zihao Zhao, Tianyu Deng, Ziqin Xu, Zihao Zhang, Xudong Wang, Jinxiang Guo, Chen Gao, Ziyi Ye, Yeying Jin, Jiaxi Gu, Zuxuan Wu, Shuicheng Yan
cs.CV
2026-09-16
NUS 等用 517 道隐式提示评测 MiniMax-H3：关键信息不写进文本，拆到图、视频和音频里。总成功率 41.97%，视频续写 56% 最好，声音消歧 27.4% 最差。
现有视频生成评测几乎都把答案写进提示。VBench 和 TC-Bench 是文本加图、明示目标；VideoPhy 和 WorldModelBench 会查物理常识，要生成的事件仍然写在提示里。模型只要把被告知的内容画出来就能过关。
能同时吃文本、图像、视频、音频的 Omni-Model，理论上可以看见同一件事的不同切片。接口能接四种模态，不等于会把它们对齐。新加坡国立大学、复旦、腾讯把 MiniMax-H3 当试验台，问的是另一件事：关键语义故意不写进提示，拆到多路观察里，模型能不能推断出该生成什么。
做法叫隐式生成评测。提示只交代任务类型，不交代目标事件；每路输入只给部分证据，必须对齐才能还原。生成视频当作行为读数：画面是否满足观察所支撑的语义约束，而不是是否像某一条参考视频。
四类任务，517 条、29 个子类。
视觉来自 HiFi-UMI-2K、VISTA-UMI-5K、LLaVA-Video-178K 等，声学来自 FSD50K 和 ESC-50，再加 ChatGPT Voice 与 Seedance 2.0 的合成样本。提示由 ChatGPT 和 Qwen3 起草，专家按场景复杂度、推断密度、条件对齐、提示隐式程度做 10 轮审核。三条专家独立看生成视频再交叉核对。画面好看但没对上任务条件，算失败。
517 条总成功率 41.97%。四类差距很大。
| 任务 | 样本量 | 成功率 |
| VDR 视频决策续写 | 100 | 56.00% |
| AVIR 音视频联合 | 71 | 47.89% |
| MSR 多视角空间 | 200 | 43.50% |
| ADR 声音消歧 | 146 | 27.40% |
VDR 里交通 9 条全对，卡通 20.00%，谜题 16.67%。MSR 里穿线 75.00%、倒水 58.30%，清洁、关节件、搬运落在 33% 到 35%。ADR 里自然声 54.50%，机械声 17.60%。VDR 和 ADR 相差 28.60 个百分点，是四类里最大的落差。
失败可归成四类：证据接到错误物体或动作；场景里有相关物体但交互没发生；接触、几何或状态转移违物理；前缀里已经成立的状态在续写里丢了。论文把生成过程的中间帧叫 Chain-of-Frames，意思是推理轨迹可以从画面里读，前提是画面真的在推理。
这套题把「能接多模态」和「会用多模态」拆开了。对做 Omni-Model 的人，最硬的短板在声音接地和跨视角空间，不在视频续写的短程动力学。对想拿 MiniMax-H3 当世界模型或具身预演器的人，它现在更像视觉续写器，不像听觉消歧器。
评测没有和别的 Omni-Model 对打，数字只描述这一台。出题方式可以复用：把答案从提示里拿走，看生成还能不能对上观察。
只测了 MiniMax-H3。四类任务的数据、提示、生成目标都不同，VDR 高于 ADR 不能直接读成「视频模态强、音频模态弱」。
一次失败分不清是没看懂输入、没跨模态对齐，还是视频解码器画错。论文自己点名要做消融：拿掉某一路，或固定画面换音频。评价全靠三人专家，没有自动指标，规模往上走会很贵。部分条件是合成的，真实声学和多视角噪声未必同等。Traffic 只有 9 条、卡通只有 5 条，这些子类数字波动会很大。