NVIDIA Cosmos 3 负责人详解:一个模型同时生成视频、理解视频并输出机器人动作
Machine Learning Street Talk · youtube · 2026-09-16
Machine Learning Street Talk 采访 NVIDIA Cosmos 研究负责人刘明宇（Ming-Yu Liu），开头那段左转汽车画面从未被拍摄——由 Cosmos 3 生成。他解释了一个模型如何同时描述视频、生成视频并产生机器人动作。
架构：视觉语言模型逐 token 推理，其权重随后初始化一个双向扩散生成器，统一生成视频、音频与动作；共享的时间位置编码方案把不同频率的信号对齐到同一时钟。
世界模型观：Liu 把「世界模型」视为一组工具而非单一定义——前向动力学、逆向动力学与策略（policy）在容量限制下联合训练，彼此促进。
数据迁移：海量的第一人称人类视频可以迁移到数据稀缺的机器人上；在 DROID 数据集上后训练的 Cosmos 模型是抓放（pick-and-place）策略的良好起点。
测试思路（最实用的一条）：神经模拟器不需要精确的成功率，只需像真实世界一样把策略 A 排在策略 B 之上，团队据此筛选值得真机试跑的 checkpoint。Cosmos Dreams 将这套闭环思路用于驾驶与机器人安全；Liu 认为人形机器人在儿童和宠物身边时，安全比汽车更重要。
模型尺寸：Super、Nano、Edge 三档，Edge 面向 Jetson Thor、Orin 与 DGX Spark；权重、代码与数据均已开放。本集为与 NVIDIA 的付费合作内容。
所属事件:NVIDIA Cosmos 3 世界模型让机器人先仿真再行动(3 条相关)→
「具身」频道最新
- ANYbotics 防爆四足机器人 ANYmal X 开始向客户交付，全球首个 — lukas_m_ziegler · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 周末懒得整理桌面？博主让机器人代劳清理全程实拍 — flngr · 2026-11-02
- Whoop 与 Apple Watch 双持同一条表带，健康监测两不误 — tinyfool · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02
- 机器人格斗正式登陆日本，东京将设常设竞技场 — cixliv · 2026-11-02