LingBot-VA 2.0:225Hz 机器人控制模型
rohanpaul_ai · x · 2026-07-14
这是一条关于 LingBot-VA 2.0 的完整介绍,核心点如下:
它是什么
- 由 Robbyant(蚂蚁集团旗下的具身 AI 公司)开发的 video-action foundation model,目标是让机器人直接学会在真实世界里“看、预测、控制”。
- 作者强调,它不是把视频生成模型后面加一个动作头,而是从头按控制任务设计。
关键方法
- 采用语义化视觉-动作 tokenizer:把观测压到接近冻结视觉模型的语义空间,再从帧间变化中学习潜在动作。
- 通过自监督的 inverse/forward dynamics,让无标注网页视频也能提供动作相关训练信号。
- 策略从一开始就是因果的,只用过去观测做决策。
- 视频骨干采用 MoE:约 13B 总参数,单 token 激活约 1.9B。
- 高层 VLM 规划器负责拆分长任务,低层视频-动作策略负责连续控制。
执行与加速
- Foresight Reasoning 会在机器人执行当前动作时预测未来视觉状态,并在每次新观测到来时用真实画面修正缓存。
- 再叠加少步蒸馏和系统优化后,论文报告峰值异步执行频率达到 225 Hz。
结果
- 可从 10–15 次示教中适应任务。
- 支持跨机器人形态迁移,并在部分新任务上具备 zero-shot 能力。
- 在论文自测中,RoboTwin 2.0 平均分 93.6,并在真实任务上优于 LingBot-VA 和 π0.5。
所属事件:LingBot-VA 2.0:面向机器人控制的原生预训练模型(9 条相关)→
「具身」频道最新
- 亚马逊谷歌卖出6亿台音箱,AGI 时代为何无人再造智能音箱 — julianlehr · 2026-09-11
- ECCV26 口头论文:流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿,外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11
- SyncWorld:少量视觉校准即可零样本模拟机器人跨视角交互 — ChongZzZhang · 2026-09-11