CI-MSE 离线指标与机器人真机成功率相关性达 -0.87,远超原始 MSE
chris_j_paxton · x · 2026-10-16
论文提出 Critical Interval MSE(CI-MSE),用于解决机器人模仿学习策略离线验证指标与真机表现脱节的问题。方法是用零样本 agent 定位任务关键片段,只在这些片段上计算误差,并做动作对齐处理。
实测数据:
- 在 6 个 MolmoAct2 checkpoint(44 段 block-sorting 数据微调、每 checkpoint 20 次 rollout)上,CI-MSE 与真机任务成功率的 Spearman 相关达 -0.89(p=0.02),而原始 MSE 仅 +0.31 且不显著
- 跨 27 个 checkpoint 的汇总实验中,CI-MSE 相关性 -0.87,优于 raw MSE 的 -0.61
- 敏感性分析显示指标对超参数设置鲁棒
核心结论:CI-MSE 能显著更可靠地用离线验证误差预测 rollout 表现,有望缓解真机评测贵、难复现、样本稀疏这一迭代瓶颈。
「具身」频道最新
- 卖机器人智能的公司比卖机器人本体还多：Dexmate Vega 成学界通用平台 — lukas_m_ziegler · 2026-10-16
- iPhone Duo 预售火爆：纽约周边门店 3 分钟售罄 — BenBajarin · 2026-10-16
- 马里兰大学提出 PAIR 框架，用桥接 token 打通 VLA 感知与动作 — Kaixi Feng · 2026-10-16
- X 上最值得关注的 15 位机器人研究者名单：Jim Fan 居首 — FinanceYF5 · 2026-10-16
- 双屏概念机「iPhone Duo」被恶搞成明年盯 Agent 神器 — AIFlow_ML · 2026-10-16
- 香港机器人生态观察：Auki 办公室藏着超市级数据采集场 — LoganGrasby · 2026-10-16