一个冻结控制器玩转人形机器人：频谱技能实现动作组合与语言控制

daibond_alpha · x · 2026-11-10

ICLR 2027 投稿(双盲评审中)论文 Spectral Skills 提出:高层行为模型向全身控制器下发的指令,可以通过预测动作延续来学出一种「频谱技能」表示。

核心思路与结果:

一个冻结控制器 + 一个闭环:在 Unitree G1(仿真 + 实机)上,无需重训练即可在运行时切换技能、沿频谱方向叠加/移除偏置(steering),实现技能组合与链式调用。
效率数据:梯度稳定后,pathway SNR 约为 score-function 的 30 倍,同等模型 rollout 下想象步数比 PPO 少约 64 倍;terminal critic 让 rollout 保持短程。
语言导向控制:语言条件规划器预测技能序列,控制器负责执行。
项目页提供浏览器内交互 demo:策略跑在 ONNX Runtime Web,物理仿真为 MuJoCo 编译到 WebAssembly(50Hz 控制 / 200Hz 物理,约 45 MB),可实时体验技能切换与频谱方向操控。

作者强调 demo 只是演示而非 benchmark。论文与代码均已开放。

「具身」频道最新