Fingers as Legs: Learning Self-Supported Locomotion and Manipulation with an Anthropomorphic Hand
Amirhossein Kazemipour, Hehui Zheng, Robert Katzschmann
cs.RO, eess.SY
2026-09-15
ETH Zurich给现成WUJI右手加80克机载模块做成818克平台，按不对称五指写足迹奖励并用PPO训练。实机无缆爬14种地面、摔倒恢复21/25、无视觉连按29/32键，推方块平均误差17毫米。
机械手通常挂在机械臂末端，臂跟到哪手才能到哪。狭缝、机柜、桌底这类空间，臂进不去，手也就废了。ETH Zurich Soft Robotics Lab 的用法很具体：大机器人把一只手放到受限开口附近，手自己走到控件或物体旁，做完再走回来等人回收。手指同时当腿、当支撑、当操作器，不再另装一套移动机构。
现成的拟人右手很难直接套四足配方。WUJI 右手拇指对掌、四指长短不一，没有左右镜像；手掌落地时还带倾角，身体坐标系不是水平参考。抬一根手指迈步或按键，剩下的接触点必须把整机撑住。先前能爬的「手」多半改过结构：DLR-Crawler 用六根相同的手指模块当六足，Gao 等人做了可拆、对称、可反向的专用手。这篇把货架上的 WUJI 右手原样留下，手指运动学和厂方位置控制器都不动。
738 克原装手背上加 80 克模块：Raspberry Pi Zero 2 W、BNO085 IMU、四芯锂电，总重 818 克。20 个关节、每指 4 个，不可反向驱动。固件位置指令低通截止 3 Hz，实验中每关节限流 1.0 A。策略以 32 位 ONNX 在 Pi 上 50 Hz 推理，串口驱动 500 Hz。爬行指令走独立 2.4 GHz 手柄，Wi-Fi 不进控制环。
策略用 PPO，仿真在 NVIDIA Isaac Lab。所有任务共用 46 维本体感觉：20 个关节相对参考角、掌坐标系重力方向、角速度、上一步动作；每项保留 8 帧历史。输出是关节目标增量，再交给原装位置环跟踪。爬行/恢复、打字、推物的角度尺度分别是 0.060、0.028、0.040 rad。仿真按硬件标定：关节刚度约是未标定模型的 18.7±2.5 倍，指尖动摩擦 0.88，闭环延迟约 19 ms，滤波后屈伸/外展速度 2.8/2.5 rad/s。
爬行奖励按这只手的站姿来写，不按时序排步态。
偏航跟踪等前向步态成形后再加，避免一步同时学迈步和转弯。摔倒恢复是另一条策略：从侧躺随机朝向起步，奖励回到爬行站姿高度和关节角；仿真 32 次里 28 次在 20 秒内扶正，中位 6.1 秒。
打字和推物也各训一条策略。打字不看视觉，靠事先对齐的四个名义按键位置和编码器正运动学；推物用顶视相机跟踪手背标记和物体，训练时加 60 Hz 采样保持、1 到 3 步延迟、3% 丢包和 2 mm 位置噪声。
仿真里，这套奖励比调过权重的四足库存奖励平均快 0.65 cm/s（12 个种子，95% 区间 [+0.26, +1.02]），12 个种子里 10 个更快。去掉足迹项，速度掉 0.79 cm/s。调过的库存奖励五指参与率均值更高，但每个种子都更爱用指甲着地；这篇的非指甲参与率高 0.35。抬腿项和方向项在消融里没有独立的速度收益。单独拿掉方向项后，五指参与率反而升了 0.31，硬件策略仍带着它，只因为当时就是这么训的。
| 设置 | 指标 | 结果 |
| 本方法 vs 调参库存奖励 | 仿真任务速度 | +0.65 cm/s（10/12 种子更快） |
| 去掉足迹项 | 仿真任务速度 | −0.79 cm/s |
| 实机无缆爬行 | 21 条轨迹平均路径速度 | 0.093 m/s |
| 摔倒恢复 | 实机 / 仿真 | 21/25（84%）；28/32，中位 6.1 s |
| 键盘 | 连续指令 | 32 次中 29 次命中，72.5 s，中位延迟 0.25 s |
| 推 40 mm、41.4 g 方块 | 15 次送达，目标距 10–40 cm | 终点误差均值 17 mm（5–37 mm） |
实机无缆爬过橡胶垫、地毯、木地板、瓷砖、菱形板、金属格栅、硬地、沥青、混凝土、切石、风化石、人造草、真草、碎石 14 种表面，但这是定性演示。开环不给转向指令时，手不论初始朝向都大约以 6°/s 向右漂。右转速率随指令放大，左转会饱和。用机载 IMU 做比例朝向闭环，±15° 和右转 30° 能到，左转 30° 到不了：用来抵消右漂的偏置把左转指令顶出了训练范围。
键盘 32 次连续指令、中途不重新对齐，最大倾角 7.7°。三次失败全是 Up 键打到旁边的 Right Shift。同一接口在人工发令下打完了推箱子一箱 9 步、两箱 12 步的最优解。推物送达条件是进 2 cm 圆再在 5 cm 内停 1 秒。
给从业者看，这是一次把货架拟人手当四足来训的工程样本，不是新算法。位置环、手指几何都原装，sim-to-real 靠的是刚度、摩擦、延迟这些硬件测量，加上按不对称站姿写的足迹项。四足常用的镜像损失和定时步态表，在对掌拇指上用不上。
能直接抄的场景很窄。键盘要人先对齐，推物要顶视相机，爬行要人手柄。论文设想的用法是大机器人把这只手放到狭缝口，它自己走进去按开关、推东西，再走回来被收回。现在还缺机载感知和更大的转向范围。
如果只关心奖励怎么给不对称腿写，足迹项比库存四足奖励更值一看。消融把速度和五指参与的增益都算到它头上。
论文自己点了两处后续：扩大指令朝向范围，以及把感知做到机载。键盘对齐仍靠人工，推物出了顶视相机视野就没法做。
策略是分任务的，没有一条统一的 loco-manipulation 策略。14 种地面只有视频级演示，没有按表面拆开的速度或摔倒统计。开环右漂 6°/s 说明左右不对称没有被策略吃干净。方向项消融不支持保留它，硬件策略却带着它上了实机。调参库存奖励的 12 个种子里有 6 个参与过选权重，对照略偏乐观。更高足迹权重只在仿真里扫过，实机用的是硬件战役锁定的那组，没有再调。
摔倒失败的 4 次是手指互相卡住。键盘三次全打偏到 Right Shift，说明名义按键位置和真键盘仍有系统偏差，而且没有视觉校正。