Mistral 的 8B 导航模型只用单目 RGB，R2R-CE 达 77.4%

mistralai · hf · 2026-07-24

Mistral 发布了什么

Robostral Navigate 是一个 8B 视觉语言模型，用于机器人导航；它只看单目 RGB 图像流，就能在当前视野里预测下一步 waypoint。

这件事的意义

它刻意避开了深度传感器、多相机 rig 和预建地图，希望降低部署门槛，并尽量跨不同机器人形态通用。

训练方案

• 用 240 万 条轨迹、35 万 个仿真场景训练
• 采用 prefix-caching，把完整 episode 打包进单一训练序列
• 训练 token 数降低 22 倍，把训练时间从“月”级压到“天”级
• 使用 tree-based attention mask，防止模型偷看到历史 ground-truth 动作
• 再用强化学习提升探索和恢复能力

结果

• R2R-CE： 成功率 77.4%，比最强单目方法高 10.5 个点，也比最强深度/多相机系统高 5.3 个点
• RxR-CE： 成功率 75.1%，超过所有单目基线

结论

Mistral 在推动机器人导航走向“单摄像头、低成本、跨平台部署”的路线。

原文链接 →

「具身」频道最新

• ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
• 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
• 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
• JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11
• SyncWorld:少量视觉校准即可零样本模拟机器人跨视角交互 — ChongZzZhang · 2026-09-11
• 狗类 3D 姿态数据集发布，动物动捕研究可用 — ducha_aiki · 2026-09-11

更多「具身」频道 AI 资讯 →