AI2 开源 ToyBlocks:仿真训练机器人 15/30 真机拼词成功

Allen Institute for AI(AI2)于 11 月 6 日发布并开源 ToyBlocks,一个围绕桌面机械臂与字母积木的仿真环境,是其 FoundationWorlds 系列的第一个「受控世界」,面向可复现的机器人学习研究。设计灵感来自幼儿玩积木学习规划与空间推理:仿真机器人推、翻、堆积木并推理物理交互。使用者可对训练数据与模型做实验性控制、运行针对性评测,并把失败追溯到具体原因。当前最值得关注的结果是:纯仿真训练的系统在真实机器人上初步验证可行,但前沿模型的空间泛化能力普遍不佳。

已确认

• 纯仿真训练的 Molmo 2 + ManiFlow 在真实机器人上 30 次尝试中 15 次成功堆叠字母积木拼出单词,仿真环境中为 200 次中 111 次
• 初始测试发现 ManiFlow、π0.5 与 MolmoAct 2 对新的空间配置泛化能力都很差
• 首发包含 8.5 万条长程演示,每条由约 6-12 个技能演示组成,研究者可自行构建强调特定技能或填补空白的训练混合数据
• 机制上,用户定义高层任务(如按顺序堆叠积木),系统通过低层技能规划执行;每次仿真执行生成一条基于传感器观测(含相机图像)的演示数据
• 工具接口允许接入前沿模型,用自然语言指挥机器人,观察其搜索、规划与纠错过程
• 支持的受控实验包括:深度输入相对彩色图像是否改善控制、组合泛化(未见过四块堆叠训练时能否堆四块)与长程规划能力评测,研究者也可自行设计评测

后续方向

• AI2 表示后续版本将瞄准更大数据集、更多技能与更广的基准测试,并集成强化学习训练;长期方向包括双臂操作及带力与触觉传感器的机械手

为什么重要

• ToyBlocks 提供可控、可复现的实验台,让研究者量化衡量哪些技术真正改善机器人学习,而非仅靠个案观察;仿真到真实的迁移初步得到验证(15/30),同时暴露出前沿模型在空间泛化上的短板,为后续研究指明方向

2026-11-06 ~ 2026-11-06 · 11 条相关

• 【源头】AI2 开源 ToyBlocks:可控实验的机器人学习仿真桌台 — allen_ai · 2026-11-06
• 仿儿童搭积木,AI2 推出开放机器人学习实验台 — allen_ai · 2026-11-06
• ToyBlocks 用高层任务自动规划,生成传感器观测训练数据 — allen_ai · 2026-11-06
• ToyBlocks 首发 8.5 万条长程演示,每条含 6-12 个技能 — allen_ai · 2026-11-06
• ToyBlocks 可测深度输入价值、组合泛化与长程规划能力 — allen_ai · 2026-11-06
• ToyBlocks 支持接入前沿模型,用自然语言指挥机器人 — allen_ai · 2026-11-06
• 实测:ManiFlow、π0.5、MolmoAct 2 空间泛化均不佳 — allen_ai · 2026-11-06
• 【源头】AI2 ToyBlocks:纯仿真训练的机器人 15/30 成功拼写实物积木 — allen_ai · 2026-11-06
• AI2 披露 ToyBlocks 后续:更大数据集、双臂与触觉传感 — allen_ai · 2026-11-06
• 【源头】Ai2 开源 ToyBlocks:机械臂积木受控仿真世界,自动生成演示数据 — allen_ai · 2026-11-06

另有 1 条近重复转述:allen_ai