NVIDIA 刘明宇谈 Cosmos 3：一个模型统一视频生成与机器人动作
Machine Learning Street Talk · rss · 2026-09-16
Machine Learning Street Talk 采访 NVIDIA Cosmos 研究负责人刘明宇（Ming-Yu Liu），详解 Cosmos 3 全模态世界模型——片头那段左转汽车从未被拍摄，完全由模型生成。
核心内容：
- 架构：视觉语言模型逐 token 推理，其权重初始化一个双向扩散生成器，统一输出视频、音频与机器人动作；共享时间位置编码对齐不同频率的信号。
- 世界观：把「世界模型」当一组工具而非单一系统——前向动力学、逆动力学与策略在容量限制下联合训练、互相促进。
- 数据：第一人称人类视频可迁移到数据稀缺的机器人；在 DROID 数据集上后训练的 Cosmos 模型是抓放策略的好起点。
- 测试：神经模拟器不需精确成功率，只需像真实世界一样给策略 A/B 排序，帮团队筛出值得真机试跑的 checkpoint；Cosmos Dreams 将闭环思路用于驾驶与机器人。
- 三个尺寸：Super、Nano、Edge（Edge 面向 Jetson Thor、Orin、DGX Spark），开放权重、代码与数据均已发布。本期为 NVIDIA 赞助内容。
「具身」频道最新
- ANYbotics 防爆四足机器人 ANYmal X 开始向客户交付，全球首个 — lukas_m_ziegler · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 周末懒得整理桌面？博主让机器人代劳清理全程实拍 — flngr · 2026-11-02
- Whoop 与 Apple Watch 双持同一条表带，健康监测两不误 — tinyfool · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02
- 机器人格斗正式登陆日本，东京将设常设竞技场 — cixliv · 2026-11-02