Perceptive Behavior Foundation Model: Adapting Human Motion Priors to Robot-Centric Terrain
Zifan Wang, Yizhao Li, Teli Ma, Qiang Zhang, Yudong Fan, Hao Xu, Shuo Yang, Junwei Liang
cs.RO
2026-06-06
Perceptive BFM 保留人体动作当指令，用机器人自己的身高图改落脚与姿态。离线 TCRS 把动作修成地形可用的监督，仿真闭环跟踪成功率从 27.3% 升到 55.1%。
人形行为基础模型把一段人体动作当成统一指令：一个策略跟走、跑、舞、空翻这一整类全身运动。OmniH2O、HOVER、SONIC 这一路跟踪器默认这段参考已经跟机器人脚下的地面对得上。默认一拆就穿。人在平地走、在控制室遥操、演示录在干净地板上，机器人却可能踩在台阶、稀疏踏脚石或凹陷障碍上。动作给的是意图和风格，给不了落脚点、抬脚间隙、身体高度和接触时机。
感知运动能看身高图过障碍，但它们选的是怎么过这块地，不是保住用户给的这段动作。空档很具体：动作接口不动，地形由机器人自己的感知来落地。
Perceptive BFM 来自 Mondo Robotics 与港科广、港科大、中科大 AGI 研究院、南大。部署时策略只吃三样：原始运动参考、本体感觉、躯干为中心的 1.6 m × 1.0 m 射线身高图（0.1 m 分辨率，17×11，带有效掩码）。地形一致的参考只在训练时用，线上不查。
训练分四段，合称 Perceptive Motion Tracking（PMT）。
TCRS 离线把人体 clips 修成跟采样地形对得上的运动。先按脚高、速度和滞后阈值判支撑或摆动，支撑脚锁到地面；摆动在脚中点（脚趾和脚跟的中点）上做采样式轨迹优化，惩罚穿透、贴边和不平滑；再按支撑脚重建根节点高度；最后修小腿碰撞，用踝、趾、跟多点阻尼 IK 解十二条腿关节。水平落脚沿原轨迹局部修补，不是全局重规划。
盲教师是 Transformer，用 PPO 跟 TCRS 参考，不看地形。学生拿原始参考加身高图。两边的残差动作不在同一个指令坐标系里，蒸馏的是教师的有效 PD 目标再减回原始关节参考，论文叫 target-frame alignment。DAgger 式 rollout 里教师控机概率从 1 退火到 0。
地形特征走两条零初始化支路：意图潜变量和动作均值，前面加 tanh 门。一开始学生就是个平地跟踪器，地形只在有用时加局部修正。PPO 微调时骨干学习率打 0.3，地形编码器和残差支路学得更勤。控制频率 50 Hz。教师 PPO 学习率 5×10⁻⁴，蒸馏和视觉微调 1×10⁻⁴。
TCRS 本身、策略还没上场，在踏脚石加台阶上对 30 段动作：穿透从直接抬脚踝（Z-offset）的 5.48 cm 降到 2.38 cm，间隙违规从三次插值加单点 IK 的 14.3% 降到 7.4%。它不是每列都赢。漂浮率 32.3%，比 Z-offset 的 12.4% 差；脚加速度平滑 8.6 m/s²、上半身偏差 4.00 cm，都略逊于三次插值方案的 6.9 和 3.98。合成器在台阶边优先躲碰撞，支撑切换处会把脚抬得略高。
同一套 10k 次 PPO、同一套奖励，训练末 100 次 log 的闭环成功率如下。
| 变体 | 成功率 | 锚点误差 | 关节误差 |
| PMT 全流程 | 55.1% | 0.159 m | 1.243 rad |
| 去掉身份门控 | 30.4% | 0.231 m | 1.428 rad |
| 视觉直接拼接 | 29.9% | 0.234 m | 1.421 rad |
| 不用 TCRS | 27.3% | 0.229 m | 1.833 rad |
| 不对齐坐标系 | 26.7% | 0.221 m | 1.959 rad |
| 去掉视觉 | 26.5% | 0.238 m | 2.464 rad |
去掉视觉、TCRS 或坐标系对齐，成功率都掉到 26%-27%。蒸馏被拿掉的几条是从零训的，奖励列不能横比。论文自己也说没有 seed 方差、没有 held-out 指令-地形划分，这张表只能当训练末诊断。
监督来源单独比：原始参考 27.3%，Z-offset 33.0%，Cubic+IK 41.0%，TCRS 55.1%。参考修得越像样，下游越好，同样没有统计显著性。
固定策略在仿真里另跑 450 条，5 类地形各 30 段动作 × 3 个 seed。
| 地形 | PMT 完成率 | 无 TCRS | PMT 小腿碰撞 | 无 TCRS 碰撞 |
| 台阶 | 53.3% | 24.4% | 11.1% | 26.7% |
| 斜坡 | 66.7% | 35.6% | 5.6% | 17.8% |
| 稀疏支撑 | 42.2% | 17.8% | 15.6% | 33.3% |
| 凹陷障碍 | 52.2% | 25.6% | 10.0% | 24.4% |
| 室内混合 | 61.1% | 33.3% | 7.8% | 21.1% |
| 合计 | 55.1% | 27.3% | 10.0% | 24.7% |
完成 248/450 对 123/450，摔倒从 45.8% 降到 23.8%。最难的是稀疏支撑。真机是一台 29 自由度 Unitree G1，机载深度转身高图。同一套权重演示了单腿后空翻上台阶、楼梯跳舞、挥臂跑、侧向走楼梯，以及人在平地做 mocap、机器人在乱摆障碍上跟同一条指令。真机是定性视频，没有重复试验统计。
从业者能直接用的点：动作接口不用改。遥操、mocap、动作库还是原来那条运动参考，策略自己看身高图改脚。这跟系统帮你选一段 parkour 技能不是一类产品。身份门控把感知做成残差，已经训好的跟踪先验不容易被视觉支路冲掉。
这是渐进工程。核心贡献是把参考修复做成可规模化的离线监督，再把坐标系对齐写进蒸馏。TCRS 不求解接触动力学，水平脚点几乎不重规划，复杂落脚仍会失败。
论文自己写了三条。TCRS 是运动学合成器，假设地形静态、刚体、可观测，不覆盖松软、颗粒、打滑。上半身指令原样保留，手臂和躯干会撞旁边的障碍。主消融表来自 TensorBoard 窗口计数，不是独立 held-out，也没有多种子方差。
另外几处要自己打折。真机没有成功率。Table II 的 55.1% 和 Table IV 的 55.1% 数字碰巧一样，分母协议不同，论文特意声明两套数不能混。稀疏支撑完成率只有 42.2%，离「基础模型」覆盖还早。作者也把 BFM 限定为面向移动的可复用运动接口，不是开放技能覆盖。