MolmoAct2可零样本控机械臂
DJiafei · x · 2026-07-10
MolmoAct2 被介绍为一个可零样本运行在 SO-ARM101 机械臂上的动作推理模型，帖子强调“无需训练”就能直接工作。
它现在被集成进 LeRobot，覆盖完整流程：
- 微调：支持全量或 LoRA
- 评估：提供现成评测流程
- 真机部署：可直接落到实际机器人
技术上，它结合了 Molmo2-ER 视觉语言骨干 和一个 flow-matching action expert，把图像、语言和本体状态转成动作片段。帖子还给出部署门槛：bf16 推理大约占用 12GB 显存，LoRA 微调可在单张 24GB GPU 上完成，并且校准修正已经内置在 checkpoint 中。
「具身」频道最新
- π0.5 实验：演示数从 10 增至 438，放球入碗成功率 7%→83% — stingning · 2026-10-27
- GPT-6 Astra 零微调操控灵巧手：500 试仅 26 次成功，成功率 5.2% — stingning · 2026-10-27
- 灵巧操作基准 HandsOn 发布:66 个人工核验任务配 1.8 万条人类示范 — stingning · 2026-10-27
- 灵巧操作基准 HandsOn:GPT-6 Astra 成功率仅 5.2%,三大失败模式曝光 — stingning · 2026-10-27
- DexPort：手持真机器手的 20 自由度灵巧手数据采集接口 — pabbeel · 2026-10-27
- ROS 社区迎来新项目负责人 ahcorde，规划 2027 版本 — ___Mufasaa · 2026-10-27