港中文等发布 RoboJudge 基准:800 段人工标注视频评估多模态模型裁判能力
CUHK-CSE · hf · 2026-10-26
港中文、UCSD、东北大学、浙大等机构推出 RoboJudge-Bench，系统评估多模态大语言模型（MLLM）作为具身视频生成「裁判」的可靠性。
- 视频生成模型被视为具身世界模型的基础，但其 rollout 是否物理有效、是否忠实执行任务指令，需要可靠的自动评估。
- 基准从 Physical Adherence（物理一致性） 和 Instruction Alignment（指令对齐） 两个维度衡量，覆盖来自 8 个源数据集、10 个视频生成器的 800 段人工标注视频，涉及夹爪、人手、灵巧手等场景。
- 实验发现现有裁判与人类评分对齐参差不齐：通用 MLLM 在物理一致性上与人类判断一致性较低，专用的视频裁判模型表现更好。
- 基于基准构建训练数据集，微调出 9B 的 RoboJudge 裁判模型，与人类判断高度一致。
「具身」频道最新
- 机器人用手肘撑地起身的动作引热议:流畅得像人 — iamfakhrealam · 2026-10-26
- 中国造 eVTOL「亿航 EH216-S」全球 23 国累计近 10 万次飞行 — LoganGrasby · 2026-10-26
- 丰田每年豪掷 64 亿美元押注人形机器人与工厂自动化 — The Decoder · 2026-10-26
- 机器人直接用视频生成模型当策略：FLUX 骨干零微调胜过 VLA — lukas_m_ziegler · 2026-10-26
- 小鹏 L4 Robotaxi 通过广州测试,凭邀请码开放乘坐 — VectorWireAI · 2026-10-26
- 港科大仅用一块 GPU 8 小时,把宇树 G1 控制器迁移到全尺寸 H2 — FinanceYF5 · 2026-10-26