Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model
Liming Lu, Xianzheng Ma, Wenkun He, Guanqi Zhan, Yilin Zhao, Junyu Chen, Mengyao Xu, Jiaojiao Fan, Wenhang Ge, Yuchao Gu, Yunze Liu, Boyi Li, Zhen Dong, Victor Prisacariu, Ming-Yu Liu, Song Han, Han Cai
cs.CV
2026-10-01
把物理因果写成可自进化的语言表示,用它筛数据、微调、写推理期正负提示;Cosmos3-Nano 四个物理基准平均 +6.22,三个反超 Veo 3.1。
视频生成模型经常渲染出「看着像、物理不对」的内容:碰撞结果不合理、物体凭空消失、流体乱飘。多个物理 benchmark 已经证实,感知真实不等于理解物理。业界的改进路线大体一致:默认自然语言装不下物理知识,于是给模型补视觉信号、latent 物理分支、数值仿真或规划模块,语言只负责说清楚「画什么」。
NVIDIA 联合 MIT、牛津的团队反着问:语言可能只是没被用够。如果 caption 不只写「黄油融化」,而是把因果链写全,温度升高供热、热驱动融化、重力让黄油塌下来,纯语言能不能承载物理知识?Physis-Lang 的答案是可以,而且把开源模型推到了物理评测上反超闭源旗舰的位置。
核心是把「物理语言」做成贯穿数据策展、训练、推理三个环节的共享表示,共用同一套格式,还能被持续优化。
caption 格式上,基础描述之外加一个 physicsreasoning 字段,显式写出相关实体、因果、支配规律、时间演化和结果;推理时再生成 physicsnegativeprompt,描述这个场景里不该出现的物理演化(比如「石头浮在水面不动」),作为负向条件压住常见错误。
让 caption 变好的机制是一个自进化循环:
PhysCapBench 是配套新建的评测集:246 个物理视频、3794 条人工核验的原子断言,平均每视频 15.4 条,每条标为 Cause(起因)、Law(规律)、Effect(结果)。循环跑了 9 轮,caption F1 从 78.64 涨到 87.82。
数据策展同样由语言驱动:诊断 agent 把模型生成失败归类成刚体运动、碰撞、流体等物理类别,汇总成缺陷画像,再按物理标签而非视觉相似度从大视频库检索补短板的视频。最终训练集 183K 条(71K 从 WISA-80K 过滤而来,112K 来自检索)。训练不动架构,对 Wan2.1-14B 和 Cosmos3 全系(4B/16B/64B)只在 attention 的 qkvo 投影上做 LoRA。
商用模型重标 183K 视频太贵,团队蒸馏了两个 Qwen3-VL-4B:PhysThinker-C 负责 caption,PhysThinker-U 负责推理期扩写,全本地部署时外部 API 开销从约 2.4 万美元降到 0。
主对比基于 Cosmos3-Nano 微调,各基准分数统一换算为百分制:
| 基准 | Cosmos3-Nano | +Physis-Lang | Veo 3.1 | HunyuanVideo-1.5 |
| PhyGenBench | 61.67 | 71.04 | 65.63 | 48.33 |
| Physics-IQ Verified | 40.23 | 43.41 | 34.99 | 31.60 |
| PhyGround | 65.18 | 69.90 | 69.24 | 66.28 |
| VideoPhy-2 全集/难集 | 60.41 / 48.31 | 68.02 / 62.36 | 68.87 / 58.43 | 62.94 / 51.69 |
四个基准里三个超过 Veo 3.1。VideoPhy-2 全集落后 0.85 分,难集反超 3.93 分。跨 backbone 一致:Wan2.1-14B 平均 +7.05,Cosmos3 的 4B/16B/64B 分别 +3.24 / +6.22 / +5.02。
消融把各环节贡献拆开了:
三个能直接拿走的东西。推理期负向物理提示是免训练技巧,预训练模型直接涨 5 分多,任何以文本为条件的视频模型都能试。「诊断失败、按物理类别检索补数据」比按视觉相似度检索更打短板,数据预算紧的团队可以照搬。PhysCapBench 本身是可复用资产,3794 条人工核验断言,评 caption 比整段打分细得多。
也要说透:prompt 扩写、负向提示、按类补数据单看都有先例,这篇的新意在于串成一个自进化循环,并系统测出了语言表示在物理任务上的上限。属于组合创新,但组合得扎实,数字给足了。
论文和数据里能看到的:VideoPhy-2 全集没有超过 Veo 3.1;全本地部署要打折扣,PhysThinker 替换 GPT 后平均增益从 7.05 降到 4.76;Cosmos3-Edge-4B 只涨 3.24,小模型受益最少。
评测协议有个隐患:论文把 VideoPhy-2 和 PhyGenBench 原有的离线评测器换成 GPT-5.5,理由是更有区分度,但训练 caption 也由 GPT-5.5 生成,评测器与数据源同源,可能有系统性偏好,论文没有做这个方向的消融。四个基准全部依赖 LLM/VLM 打分,「物理正确」的判定上限就是 judge 的水平,也没有人类评审的交叉验证。
工程上,物理 prompt 动辄上千 token,Wan2.1 的文本编码器(UMT5XXL)只有 512 token 上下文,只能靠滑窗加平均拼接 embedding,说明这条路对文本条件容量有真实压力。caption 进化和 critic 依赖 GPT-5.5、Gemini-3.1-Pro 等闭源模型,整个表示的上限被封在这些模型的物理理解能力里。