MolmoAct2可零样本控机械臂
DJiafei · x · 2026-07-10
MolmoAct2 被介绍为一个可**零样本**运行在 SO-ARM101 机械臂上的动作推理模型，帖子强调“无需训练”就能直接工作。 它现在被集成进 LeRobot，覆盖完整流程： - **微调**：支持全量或 LoRA - **评估**：提供现成评测流程 - **真机部署**：可直接落到实际机器人 技术上，它结合了 **Molmo2-ER 视觉语言骨干** 和一个 **flow-matching action expert**，把图像、语言和本体状态转成动作片段。帖子还给出部署门槛：bf16 推理大约占用 12GB 显存，LoRA 微调可在单张 24GB GPU 上完成，并且校准修正已经内置在 checkpoint 中。