Energy-Based Policy Orchestration
Weirui Ye, Yen-Jen Wang, Elvis Hsieh, Zhiyang Dou, Shibo Zhao, Pieter Abbeel, Yilun Du, Leslie Pack Kaelbling, Tomás Lozano-Pérez
CoRL 2026
cs.RO, cs.LG
2026-11-02
为每个冻结策略学一个能量函数,在线同时选策略和细化指令;人形机器人切换减 7 倍,鲁棒性超 MoE,免微调上真机。
分层控制是机器人的经典架构:高层规划器给任务目标,低层 goal-conditioned policy(以目标指令为条件的策略)负责执行,中间的接口通常是一张固定映射。这张映射在动态任务里撑不住:人形机器人抱着箱子走路,一次打滑或意外碰撞要求它减速、加宽站姿、或暂时放下精确跟踪去保平衡,这些物理变化发生在毫秒级,比高层更新快得多。运动学上贴合目标的命令,物理上可能根本不可行。
手里有一族低层策略时,有的擅长精确跟踪,有的擅长抗扰恢复,执行变成两个耦合的决定:跑哪个策略、给它什么目标。最优目标取决于用哪个策略去追,最优策略又取决于哪个细化后的目标还可行。论文把这个问题命名为 policy orchestration,解法叫 EPO。作者来自 MIT、Berkeley、CMU、Harvard 与 Amazon,CoRL 2026 论文。
EPO 插在规划器和冻结策略族之间,给每个策略学一个能量函数(energy-based model,能量越低越合理,推断即搜索低能量点):
能量按策略独立训练,却共享同一套可行性与一致性定义,天然可跨策略比较。新增策略只需训它自己的能量模型,约 30 GPU 分钟,其余全部不动;MoE 门控则要在策略库每次变动后重训 40 到 60 GPU 分钟。
仿真在 Isaac Lab 的 Unitree G1 上做,每设置 384 个 episode,覆盖平地、崎岖、楼梯三种地形,指令接口 16 维(底盘速度、躯干高度、末端位姿):
| 方法 | 指标 | 结果 |
| EPO-M2 vs 通用策略 | 跟踪误差(归一化) | 0.542 vs 0.568 |
| EPO-M4 vs MoE-M4 | 站立操作误差 | 0.420 vs 0.461 |
| EPO-M4 vs MoE-M4 | 每回合切换次数 | 2.08 vs 15.46 |
| 去可行性信号消融 | 推扰存活率(站立) | 58.6%(完整版 95.3%) |
| 新增一个策略 | GPU 分钟 | 约 30 vs 重训 40-60 |
MoE-M2 在 56% 的 episode 里从未离开过通用策略,门控基本失效;在能推倒站立专家的强扰动下 EPO-M4 存活 97%。消融把贡献拆开:鲁棒性几乎全靠可行性信号,去掉后站立推扰存活从 95.3% 掉到 58.6%;精度靠目标细化,速度与躯干高度分量误差降 5-6%,被推后躯干高度误差降 25%。细化也吃掉大部分算力,去掉后编排频率上限从 83Hz 升到 615Hz,EPO-M4 全套打分一轮 24.3ms(41Hz)。3m/s 推挤下 40ms 内切到抗扰策略,0.48 秒后切回。
真机部分是演示:同一套冻结策略与能量模型免微调上 G1,完成遥控搬箱、被篮球砸中后恢复、开门三项任务;5 次站立推扰里 EPO-M2 全部恢复,站立专家单独跑 4/5。
做人形全身控制的团队多多少少攒了一抽屉策略,缺的是不重训就把它们拼起来的执行层。EPO 让「精确档」「抗扰档」分头训练,用能量分数在线仲裁,加新技能退化为一次 30 分钟的离线训练。相比 MPC 在动作层在线优化,它只优化目标,便宜得多;相比 MoE,切换少一个量级,频繁切换对真机执行本身就是干扰。能量作为跨策略的公共度量,不绑定人形,这个思路可迁移。
作者自述三条:能量模型在分布偏移、目标覆盖不足或新策略校准不佳时可能不可靠;运行时成本随候选数增长,梯度细化占大头;EPO 只管策略-目标接口,替代不了动作层安全滤波与形式化约束。
读下来还有两处要打折扣。精度提升是小幅的,主对比 0.568 到 0.542,约 4.6%,且加权存活率略低于更鲁棒的对照(96.8% vs 97.7%),它买到的是两头兼得,没有在任一轴上刷新上限。真机是演示加一个 5 次的初步测试,没有定量硬件对照,「能上真机」更接近可行性验证。所有能量模型在同一仿真协议里训练,外部策略库能否直接套这套定义,论文没有验证。