See to Reach, Feel to Grasp: Learning A Blind Grasp Reflex for Anthropomorphic Robotic Hands
Alexander Alexiev, Tzu-Yuan Lin, Sang Min Kim, Ho Jae Lee, Yonghyeon Lee, Sangbae Kim
cs.RO
2026-09-25
MIT把伸手交给手臂、把抓稳交给只看关节历史的手部策略。仿真里YCB三十秒窗口抓到96%、GraspXL的3028个物体95%；学到的抓稳分数和从未见过的力封闭指标Spearman相关0.77。
灵巧手抓东西，难点在接触之后怎么改力、改指形。常见做法是视觉给出目标抓取构型，手臂走到预抓位姿，手指再按预定轨迹合拢。感知有误差、手臂没停准、物体被碰偏时，这条开环合拢几乎没有反馈余地。
很多学习方法把手臂和手一起交给视觉策略，点云、位姿、图像都喂进去。全局几何对「伸到哪」有用，但会把局部接触控制绑死在物体形状和场景配置上，换个手臂控制器或物体挪了位置，策略就要重训。人伸手靠看，抓稳靠摸。这篇问的是：五指手能不能在接触阶段完全不看，只靠关节编码器把东西抓稳。
架构拆成三块。手臂模块给出手掌目标位姿和二进制 engage 信号，负责靠近物体。手部策略只输出 20 个关节目标和一个标量抓稳分数 γ∈[0,1]。底层速度控制器再把这些指令变成关节命令。
手部策略分两阶段学。特权教师用 PPO，观察量是各连杆是否接触、物体在手掌坐标系下的位置、当前关节角。学生用 DAgger 蒸馏，输入只有最近 H=5 步的关节角，以及「测到的角减上次位置指令」。接触会让手指走不动，指令和实测之间出现持续偏差，学生靠这段历史隐式判断碰到了什么。部署时没有触觉、力、力矩，也没有物体状态。
关节目标会向人类抓取数据的 PCA 流形靠一点，混合系数 β=0.5，既保留协同、又允许离开流形去补重定向误差。γ 是动作的一维，没有稳定性标签。训练时手臂是固定的两阶段控制器：γ 低就继续伸，γ 高就抬起，掉下去再伸回来。抬早了高度奖励会掉，抬晚了奖励迟到，教师从任务后果里学会何时切换。
训练在 MuJoCo Warp 里 4096 个并行世界，YCB 全套加尺度随机，外加质量、位姿、扰动和伺服增益随机。教师是 256 维 GRU 加 MLP，学生是 (256,128,64) MLP。整套大约 4 个 GPU 小时，一块 L40S。真机是 Flexiv Rizon 4 七轴臂加 Robotis 20 自由度五指手，底层 1 kHz，策略 11.9 Hz。
仿真里每个方法有 30 秒窗口，可重抓，物体在目标上方 10 cm 内稳住 2 秒算成功。
| 方法 | YCB (78) | GraspXL (3028) | 动态物体 | 位姿泛化 |
| 脚本合拢 | 31% | 39% | 15% | 30% |
| RobustDexGrasp 教师 | 98% | 97% | 8% | 15% |
| 去掉抓稳分数 | 73% | 82% | 75% | 70% |
| 该方法 | 96% | 95% | 92% | 90% |
端到端点云策略在静态上略高，物体一挪或超出训练投放区就塌。手部策略冻住、手臂在线改手掌目标，工作空间覆盖更宽。学到的 γ 和从未输入策略的 Ferrari-Canny ε 力封闭指标，成功轨迹上 Spearman 相关 0.78，全体 0.77。
消融里 β=1 把动作锁死在流形上，成功率掉到 28%；只用关节角是 91%，用 q−q^{tgt} 是 60%，用跟踪误差 q−q^{cmd} 才是 96%。刚度乘 2 或 0.5 仍有 95% 和 93%；最大速度减半掉到 76%，抓稳时间从 3.9 秒拖到 9.1 秒。
真机侧，同一套冻结策略抓起 29 件不同形状材质的物体。论文写明这是多样性展示，没有逐件重复试验，所以没有真机成功率。同一手部策略还能接没见过的手臂行为：RexOmni 做语言拣放、SAM2 跟踪移动物体、脚本拧灯泡，以及换安装方式和换手臂。
对做灵巧操作的人，这篇把「抓稳」从整臂视觉策略里拆出来，变成可复用的手部技能。手臂仍要负责看到并伸过去，手只在接触后闭环。传感清单极短：量产关节编码器，不用触觉阵列，也避开了触觉从仿真到真机的域差。
这不是「机器人不需要视觉」。没有伸到可抓范围，盲抓反射没有机会启动。静态仿真里它也没有超过联合训练的端到端教师，换来的是模块化和动态场景下的可组合性。
真机 29 件没有重复试验，不能当成功率读。抓稳分数是在「伸、抬」任务里从奖励后果里长出来的，接到拧灯泡这种持续腕转上能用，但不保证任意后抓操作都校准过。策略从未直接看到接触几何，复杂滑动或极小物体可能超出关节历史能表达的范围。端到端基线按静态物体训练，动态对照对它不公平，但作者更新了点云它仍然只有 8%。论文没有单独列 Limitations，失败模式主要靠消融间接给出。