TERRA: Terrain-Aware Reconstruction, Retargeting and Control for Musculoskeletal Locomotion
Merkourios Simos, Chengkun Li, Bianca Ziliotto, Alexander Mathis
cs.RO, cs.AI, cs.LG, q-bio.NC
2026-09-30
仅凭动捕轨迹反推楼梯、坡道等支撑几何并重定向到 354 条肌肉的人形，单一策略在留出非平地动作上完成 87.6%,高于全部基线。
肌肉驱动的人形体配强化学习，已经能模仿几百段人类动作，但整个行为库几乎只在平地上成立。EPFL 的团队把卡点归为两个：AMASS 这类大规模动捕数据不带场景几何，人在数据里下楼梯，楼梯本身却不存在；而把动作重定向(retargeting,把动捕骨架上的动作映射到另一个身体)到解剖不同的肌肉身体上，平地上可容忍的穿透、滑脚、悬浮，到了楼梯坡道上会被放大到参考动作直接不可行。最接近的已有工作 SceneBot 能从动作构造接触场景，但代码未公开，评估也只看下游跟踪成功率，不直接量几何误差。TERRA 把链路打通：轨迹重建地形、带地形约束的重定向、用产出的动作-地形对训练一个肌肉策略。
地形重建只用运动学，不碰视觉。证据分两类：踝、脚趾路标局部静止且贴近最低点的区间，是支撑面的正证据；身体其余部分的扫过轨迹是自由空间的负证据，重建几何不得与之相交。四个地形先验(独立箱体、坡道、楼梯、座椅)全部由 MuJoCo 静态碰撞盒拼装。区分平面与斜坡靠两个线索：站立期踝-趾俯仰角相对中立位是否贴合坡度，以及同一只脚两次触地间的摆动高度剖面，坡道近似线性过渡，台阶先陡升再落。出现至少三级抬升面且每级贴合静止脚点时选楼梯先验，否则退回独立箱体。去掉这两个物理线索，地形分类准确率从 99.9% 掉到 73.5%。
重定向扩展 OmniRetarget 的交互网格(interaction mesh)目标：17 个身体路标与场景采样点一起做 Delaunay 四面体化，用 Laplacian 保持人-地相对几何；TERRA 另加一组面向肌肉身体的残差，包括站立期把脚跟锚定在触地点、两腿碰撞体最小间距、摆动脚离地间隙、座椅接触的带符号距离项，肌腱超长被显式惩罚，逐帧用序列二次规划解 89 个广义坐标。
策略是 PPO 跑在 MJX-Warp 上：8192 个并行环境、100Hz 控制、观测含以骨盆为中心的 11×11 高度图。单一策略 40 亿步，四张 A100 约 20 小时。
五个数据集共 8068 段剪辑，非平地部分配出 9.4 小时训练库，留出集按受试者划分(约 15%)。
| 指标 | 基线 | TERRA |
| 地形类别准确率(5474 段有标签) | 去物理线索消融 73.5% | 99.9% |
| 脚部高度 MAE(PRISM 真值网格) | Voronoi 34.13mm,平面拟合 102.41mm | 12.95mm |
| 坡道坡度 MAE(7.5°/10° 坡) | 未给同类基线 | 0.544°/0.529° |
| 台阶踢面高 MAE(100/170/240mm 楼梯) | 未给同类基线 | 7.36/4.34/3.61mm |
重定向(6498 段)：肌腱违规 0.026%(GMR 0.556%),自碰撞 0.52%(GMR 21.82%),环境穿透 0.16%,去掉残差项时为 33.45%;接触保持 F1 93.80%,OmniRetarget 是 80.29%。
下游留出动作完成率：TERRA 参考动作 87.59%,OmniRetarget 80.29%,GMR 56.43%,MuscleMimic 原生拟合器 47.34%。MPJPE 74.47mm,略逊于 TERRA+Voronoi 的 71.65mm,但后者完成率更低(82.16%)。分地形看：坡道 99.5%、平地 91.7%、座椅 89.3%、楼梯 81.9%(楼梯这项 TERRA+Voronoi 以 85.0% 更高)，独立箱体只有 46.5%。
策略生成的 EMG 和垂直地面反力只与真人留出数据做了归一化波形对比，有相似也有明显错位，没有量化分数。
动捕档案基本都是无场景的，这条管线把其中的非平地内容变成可训练数据，仅 AMASS 就回收了 993 段。两个模块还能拆开用：地形重建从纯动捕轨迹恢复几何；接触锚定和肌腱约束可以搬进其他重定向管线。四张 A100 二十小时训练一个地形通吃的策略，规模上可负担。也要说清位置：交互网格、SQP、PPO 模仿都是成熟组件，贡献在端到端链路和有真值对照的评估；坡道楼梯扎实，离散箱体 46.5% 的完成率说明孤立落点还没解决。
作者列出的开放问题：动态几何、在线重定向、运动中的支撑面。此外地形只覆盖四类静态先验，不规则岩石和曲面不在内。去掉 30% 支撑区间后座椅分类掉到 70.4%,10mm 噪声下楼梯分类降到 89.5%,对接触证据的密度有依赖。EMG/vGRF 对比停留在定性层面，「可作为研究生理过程的工具」还没有量化支撑。SceneBot 代码未公开，只能与其改造出的 Voronoi 基线间接比较。评估完成率的终止容差 0.25m(训练时 0.15m)偏宽，跨论文对比时留意。