开源诊断工具发现：像素指标在真实机器人视频中完全失效
georgia_bucea · reddit · 2026-08-14
作者开发了一款名为 Worldproof 的开源工具，用于诊断世界模型（预测未来帧的模型）的预测失效点，并得出了一个反直觉的重要结论。
核心发现：像素指标失去区分度
- 在真实的 SO-101 机械臂录像中，常用的像素级指标（如 SSIM 和 PSNR）无法有效区分模型优劣。
- 原因在于，预测错误并不会随预测步长的增加而显著增长。如果预测 6 步和预测 1 步的难度差不多，所有模型都会表现得一样平庸。
有效评估窗口
- 作者在 DROID 数据集上进行了 48 步的深入测量，发现了三个阶段：
- 1-3 步：几乎所有模型都接近完美，无法拉开差距。
- 4-24 步：指标急剧单调下降，这是唯一能真正区分模型好坏的区间。
- 28 步及以后：预测彻底失去相关性，所有模型再次垫底平局。
方法论与建议
- 评估世界模型时，必须根据帧率和任务速度找到属于自己数据的“有效评估窗口”，而不是盲目沿用论文里的默认步长。
「具身」频道最新
- 特斯拉新 Roadster 演示:垂直爬墙、倒挂行驶,靠推进器飞离 — tetsuoai · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- 马斯克暗示：Grok 将进 Optimus 机器人，数字 Optimus 也将入 Grok — beffjezos · 2026-10-16
- OpenDriveLab 等提出 SimVTA:用模拟器渲染未来视频给驾驶世界模型做 RL 后训练 — OpenDriveLab · 2026-10-16
- 9 家机器人数据供应商横评：Scale AI 营收超 10 亿美元，机器人业务能否复制其利润率 — FinanceYF5 · 2026-10-16
- Kroger 裁 3000 个公司岗位占 37%，博主预言人形机器人 2030 年代接棒 — csuwildcat · 2026-10-16