Mistral 的 8B 导航模型只用单目 RGB，R2R-CE 达 77.4%
mistralai · hf · 2026-07-24
Mistral 发布了什么
Robostral Navigate 是一个 8B 视觉语言模型，用于机器人导航；它只看单目 RGB 图像流，就能在当前视野里预测下一步 waypoint。
这件事的意义
它刻意避开了深度传感器、多相机 rig 和预建地图，希望降低部署门槛，并尽量跨不同机器人形态通用。
训练方案
- 用 240 万 条轨迹、35 万 个仿真场景训练
- 采用 prefix-caching，把完整 episode 打包进单一训练序列
- 训练 token 数降低 22 倍，把训练时间从“月”级压到“天”级
- 使用 tree-based attention mask，防止模型偷看到历史 ground-truth 动作
- 再用强化学习提升探索和恢复能力
结果
- R2R-CE： 成功率 77.4%，比最强单目方法高 10.5 个点，也比最强深度/多相机系统高 5.3 个点
- RxR-CE： 成功率 75.1%，超过所有单目基线
结论
Mistral 在推动机器人导航走向“单摄像头、低成本、跨平台部署”的路线。
「具身」频道最新
- 物理 AI 名场面:「台灯蜂群」齐刷刷转头,桌面机器人军团曝光 — dee_hw · 2026-10-26
- 上交大提出 VaM：用价值预测作记忆，机器人连续 4 小时自主作业成功率超 95% — chris_j_paxton · 2026-10-26
- 自制人形 PhoneGirl 第 4 天:碰撞测试、舵机调校、跪姿可弯 160° — _Stocko_ · 2026-10-26
- 探访仓储机器人公司 Dexory：8 米扫描塔与全栈自造之路 — lukas_m_ziegler · 2026-10-26
- M5Stack StickS3 固件更新:远程取景支持理光 GR 相机 — OpenAIDevs · 2026-10-26
- 傅利叶 GR-3 裸机状态一次连爬六层楼,下楼无保护绳 — chris_j_paxton · 2026-10-26