Ai2 发布 Molmo2-4B-tb:视觉语言模型当机器人积木规划器

DJiafei · x · 2026-11-06

Ai2(Allen Institute for AI)在 Hugging Face 上发布了 Molmo2-4B-tb,一个面向机器人堆叠积木任务的视觉语言规划器:模型读取目标指令、观察相机画面,然后通过「指点」(point)的方式输出下一步动作。

配套演示截图展示了 VLAGent Goal Conditioning 界面:给定「stack W G C」指令后,Molmo2 以约 2Hz 频率更新输出,先指出目标积木,再给出底层动作指令(如 pick、坐标与底层指令),由运动规划器执行。这是视觉语言模型直接充当机器人高层规划器的开源实践。