PhyRubric: Rubric-Grounded Diagnostic Evaluation of Physical Commonsense in Text-to-Video Generation
Huiyi Chen, Weitai Kang, Shicheng Fan, Xinshuo Wang, Zhixiang Shen, Yan Yan, Philip S. Yu, Baoxin Li
cs.CV, cs.AI
2026-11-10
PhyRubric 在出视频前把文案拆成可核验的语义与物理条目,分数由条目裁决推出。十个模型里 Seedance 2.5 的双达标率只有 44.2%,最强开源模型为 14.9%。
文生视频要当世界模拟器,画面得符合日常物理常识。现有做法是让标注员凭感觉打一个 1 到 5 的总分。穿模该扣多少没有对照表,同一条视频能差出好几档,这个分数也不告诉你坏在哪条原则上。排名做得到,定位做不到。
VideoPhy 与 VideoPhy-2 的题大多落在力学。热、电占比很低,声学几乎没人覆盖。还有按能量守恒出的题,要判它们得用课本知识。
PhyRubric 在看到任何视频之前,就给每条文案写好一份 rubric(评分细则),同一文案的所有模型共用。分数因此可比,也不会被某一条片子牵着走。
它仍用 VideoPhy-2 的语义遵循(SA)和物理常识(PC),各 1 到 5 分。分数不再手打,改由条目裁决推出。SA 条目是文案要求看见的事实:主要物体和每个事件为 primary,修饰、初始状态和顺序为 secondary。PC 条目写明哪些可见迹象算违规,严重度按婴儿获得物理知识的顺序分四档:Fatal 是场景整体不可能,Core 是核心因果失败或反向,Major 是核心之外的明显错误,Minor 是不毁掉事件的外观漂移。
每条 PC 有 Expect 和 Fail,分别指定该看的时刻或区域,以及算失败的迹象。SA 判过或不过。PC 还可判 not shown,表示该时刻没出现。开关没被拧,不能记成灯该亮却没亮,缺的动作已经算在 SA 里。失败要对上列出的迹象,并写上时间戳。
换分规则是固定的。SA:无关为 1,全过为 5,只挂 secondary 为 4,恰好一条 primary 失败为 3,两条及以上为 2。PC:无失败为 5;最重失败封顶,四档上限为 1、2、3、4,每多一条 major 及以上的失败减 1。只看方向和顺序,不罚快慢,不罚原因留在画外。四档都至少一条,1 到 5 分都可达。
Bench 覆盖五个域、34 类、245 条文案,每条写明一个日常因果的结果。视频无声,声学只评波纹和振动。文案由 Claude Fable 5.1 与 GPT-5.6 Sol 起草,细则经程序检查和人工复核。十个模型得到 2,433 条 5 到 6 秒视频,17 条被安全过滤拒绝。代理预标,人工再核对。
Train 是场景不重叠的 947 条文案,四个生成器,3,788 条视频、4.59 万条裁决。代理 Claude Sonnet 5.5 会在可疑时刻按原始帧率放大,躲开均匀抽帧漏掉的短违规。Judge 从 Qwen3-VL-8B 用 LoRA 微调,视觉编码器冻结,推理只看文案和 16 帧,不看细则。
主指标 JP 是 SA 和 PC 都至少 4 分的视频比例。PC 只在事件确实出现的视频上平均。
| 模型 | 平均 SA | 平均 PC | JP |
| Seedance 2.5 | 3.77 | 3.99 | 44.20% |
| Veo 3.1 | 3.68 | 3.57 | 36.20% |
| HunyuanVideo-1.5-8B | 2.70 | 3.46 | 14.93% |
| Wan2.2-T2V-A14B | 2.84 | 3.34 | 14.87% |
| LTX-Video-2B | 2.27 | 3.04 | 4.07% |
Seedance 2.5 的 JP 为 44.20%,Veo 3.1 为 36.20%,大约是表中最强开源模型的两三倍。闭源仍有超过一半不能同时过关。开源平均 SA 都低于 3,可评视频的平均 PC 不超过 3.5。八个模型在光学上最好,热和声学最差。声学 JP 上,Seedance 30%,Veo 15%,Wan2.2-TI2V-5B 和 LTX-2.3-22B 为 0%。
全部视频里 50.8% 的 SA 是 2 分,至少两条主要事实缺失;SA 为 4 分的只有 5.0%。事件画全之后,74.1% 物理也过关。2,433 条中,双过线 412 条(16.9%),画全但物理失败 144 条(5.9%),事件没出现 609 条(25.0%),出现了但 SA 不到 4 的有 1,268 条(52.1%)。可评视频的 PC 两头重:5 分 52.9%,1 或 2 分 40.8%,3 分加 4 分只有 6.3%。
开源回避率 20.0% 到 44.5%,LTX-Video-2B 最高;Seedance 5.7%,Veo 8.6%。按旧协议把没演的片子也计入 PC,开源分数会上升 0.16 到 0.59。LTX-Video-2B 会排到 Cosmos-Predict2.5-14B 和 Wan2.2-T2V-A14B 前面。Cosmos-Predict2.5-2B 的 PC 可高于 Veo、仅次于 Seedance,JP 却是 6.69%,十个里第八。
Judge 与人工软分的相关是 SA 0.61、PC 0.32,AUC 0.84 和 0.68,与 Gemini 4 Argon 的 0.60、0.31 持平。Qwen3-VL-32B 的 SA 相关为 0.49。VideoPhy-2-AutoEval 的 PC 相关为 0.23,尽管用了 6.2 万条人工标注。零样本开源模型的 PC AUC 为 0.53 到 0.58。对六个训练时没见过的生成器,相关只降 0.03 和 0.06。去掉一个物理域再训,SA 最多降 0.04,PC 最多降 0.09,降在力学。
违规里 L1 占 41.6%,L2 占 50.7%,L3 只占 7.6%。后果缺失 24.0%,恒存与数量 20.4%。番茄酱在 1.50 秒到 1.62 秒变成一碗,勺子跳到别处;顶灯在手指碰到按钮之前就亮着。
语义是主瓶颈。50.8% 的视频 SA 为 2,事件画全后 74.1% 物理过关。PC 的 3 分和 4 分只占 6.3%,失手多发生在恒存和因果,很少停在材质。
只报 PC 会奖励回避。旧协议下开源 PC 最多被抬高 0.59,JP 把「没演事件」从「演了但违背物理」里分开。
8B 的 Judge 推理不看细则,相关与 Gemini 4 Argon 打平。复现 JP 榜的 Pearson 为 0.93、Spearman 为 0.87,平均绝对误差 4.65 个百分点,但会调换两个闭源名次,并高估最弱开源模型。扫错误类型够用,单条定案不够。
细则被写成分析工具,不是最终标准。PC 与人工的相关只有 0.32,AUC 0.68。主表用软分。Gemini 4 Argon 的整数分更高,是因为思考关不掉;2,000 次 bootstrap 的 95% 区间包含 0。它在 SA 上只放行约 10% 的片子、联合约 3%,人工约 20% 和 14%。
Bench 上人工改判 SA 裁决 2.8%、PC 裁决 5.6%,PC 改判里 61% 是漏掉的违规。88.1% 的视频分数不变。双标子集上一致率 95.3%,κ 为 0.87。Train 是同一代理标的。诊断文本准不准,论文没另给指标。
文案写死了结果,开放结局没测。每条提示只生成一条、5 到 6 秒,分辨率从 480p 到 768p 混在一起。声学只有 20 条,且只看可见后果。PC 不罚速率和幅度。