苹果发布 HALO：全自主人形机器人从仿真学会感知全身运动

CyberRobooo · x · 2026-11-06

Apple AI 研究团队发布 HALO 项目——从仿真训练实现具备感知能力的全自主人形机器人全身运动控制，附带论文、视频与代码。

系统采用三层架构：

Orchestrator（编排器，约 0.5 Hz）：运行在背包计算单元上的现成 VLM，把语音指令（如“把箱子推开”“跟我走”“坐下”）分解为子任务，成功则推进、失败则重试；
Generator（生成器，约 3 Hz）：基于 RGB 图像与当前子任务，用冻结的 Qwen3.5-2B 编码器 + DiT 解码器（flow matching，15 步 Euler）生成 5 秒、150 帧、36 维的全身运动计划，前 0.5 秒被提交并作为干净 token 反馈；
Tracker（跟踪器，50 Hz）：在嵌入式计算单元上，结合机载深度相机与本体感知，输出 29 个关节的目标指令。

演示场景包括钻桌底、侧身过门、推箱子、跟随人、爬行、坐椅子/沙发等。实测“坐椅子”任务成功率达 84%，并支持推理期实时分块（real-time chunking）切换以平衡性能与算力。

「具身」频道最新