专题 · FULL STORY
英伟达Cosmos 3:从端侧预告到世界模型发布
英伟达在SIGGRAPH大会前后,逐步揭晓并正式发布了Cosmos 3系列模型。从最初推出面向Jetson机器人的端侧视觉推理模型,最终发布强化物理AI理解能力的Cosmos 3世界基础模型。
2026-07-16 ~ 2026-07-30 · 6 集 · 25 条
第 1 集 · 英伟达发布Cosmos 3 Edge端侧视觉模型(2026-07-16,2 条)
英伟达宣布将Cosmos Coalition扩展至日本,并同步推出全新的Cosmos 3 Edge模型。该模型拥有40亿参数,专为端侧视觉推理设计,旨在提升边缘设备的AI计算能力。此次发布不仅丰富了英伟达的边缘计算产品线,也标志着其在全球范围内深化端侧AI生态布局的战略步伐。
- NVIDIA 推出 Cosmos 3 Edge — lifebypixels · 2026-07-16
- 英伟达发布Cosmos 3 Edge端侧模型 — lifebypixels · 2026-07-16
第 2 集 · NVIDIA预告SIGGRAPH 2026并发布端侧模型Cosmos 3 Edge(2026-07-20,15 条)
NVIDIA在SIGGRAPH上预告了2026年的重点更新方向,宣布将大力推进图形与仿真技术,核心在于将agentic AI(智能体AI)与physical AI(物理AI)深度结合。据作者@nordicinst转述,此举旨在打造更智能的图形系统与更逼真的模拟环境。这一战略不仅涵盖开源模型与实时仿真技术的突破,还旨在深刻影响未来的媒体制作流程。
发布开源端侧世界模型 Cosmos 3 Edge
NVIDIA发布了可在边缘GPU上运行的40亿参数开源世界模型Cosmos 3 Edge。该模型由4B参数主体和一个2B的Nemotron推理器组成,面向物理AI场景,可运行于Jetson Thor等本地设备上,能理解并生成文本、图像、视频、环境声音和动作。目前模型已完全开源,包括模型权重、后训练配方和代码,并在Hugging Face上线。据官方称,在同等规模(4B以下参数)的开源模型中,Cosmos 3 Edge在VANTAGE-Bench视觉分析榜单上排名第一,领先于前代Cosmos等模型。其应用场景涵盖机器人学习与行动、自动驾驶场景理解与意图预测,以及视觉AI agent对实时视频的推理。
追求行为真实的物理世界生成
NVIDIA表示,其研究目标不再局限于生成视觉上逼真的世界,而是要做出行为真实、可实时响应的3D世界。这些由AI生成的内容必须建立在3D基础上、遵循物理规律,并允许创作者直接控制。该技术方向将同时服务于游戏、影视、机器人以及工厂数字孪生等领域的模拟需求。
创意软件加速向“agent-ready”演进
除了底层图形与仿真的升级,NVIDIA透露了一个关键的应用层趋势:推动领先的创意应用开放Model Context Protocol(MCP,模型上下文协议)连接。此举旨在让AI agent能够直接深入到场景、镜头、时间线、素材和剪辑等具体的创作工具内部执行任务。NVIDIA将这一转变视为“加速创作”的下一阶段,意味着创意软件正在全面向“agent-ready”演进。在这一新的工作流模式下,AI承担了深入工具内部的繁重操作,而人类创作者依然保留对创作过程的最终控制权。
推出合成视频检测与桌面端Agent栈
随着AI生成内容的日益普及,NVIDIA基于其AI for Media平台推出了Synthetic Video Detector NIM微服务。该服务主要面向广播、出版等媒体机构,旨在提供能够跟上现代内容制作速度的可信验证工具,以应对日益泛滥的合成视频。此外,NVIDIA宣布桌面端也能运行“超级agent”,发布了基于DGX Station的NemoClaw开放agent栈,整合了Nemotron 3 Ultra与Omniverse等技术。
- NVIDIA 预告 SIGGRAPH2026 更新 — nvidia · 2026-07-20
- NVIDIA推动创意软件接入MCP — nvidia · 2026-07-20
- NVIDIA 推进物理AI图形仿真 — nordicinst · 2026-07-20
- NVIDIA推动创意软件接入MCP — nvidia · 2026-07-20
- NVIDIA 推出合成视频检测服务 — nvidia · 2026-07-20
- NVIDIA 推进创意应用 MCP 连接 — nvidia · 2026-07-21
- NVIDIA 开放 Cosmos 3 Edge — liu_mingyu · 2026-07-21
- NVIDIA 推出端侧世界模型 Cosmos 3 Edge — NVIDIAAI · 2026-07-21
- Cosmos 3 Edge 登顶视觉分析榜单 — NVIDIAAI · 2026-07-21
- NVIDIA 开放 Cosmos 3 Edge 全套资源 — NVIDIAAI · 2026-07-21
- NVIDIA推进物理世界生成与视频检测 — nvidia · 2026-07-21
- NVIDIA 发布 Cosmos 3 Edge — nvidia · 2026-07-21
- NVIDIA 推出 Cosmos 3 Edge 与 DGX Station 开放 agent 栈 — nvidia · 2026-07-21
- NVIDIA 推出 4B 端侧世界模型 Cosmos 3 Edge — CSProfKGD · 2026-07-21
- NVIDIA 说 Cosmos 3 Edge 已开放给 Jetson Thor 端侧设备 — liu_mingyu · 2026-07-21
第 3 集 · 英伟达借RTX PRO与DGX将AI智能体引入3D创作(2026-07-21,2 条)
英伟达正依托RTX PRO和DGX系统推进本地AI智能体在日常创作流程中的应用。通过将AI智能体接入Blender和Unreal等软件,系统能在用户保持控制权的前提下,自动推理3D场景与资产并处理重复性工作,推动3D创作工作流向智能化升级。
- NVIDIA 将 AI agents 接入 Blender 和 Unreal 处理 3D 场景 — CodeByPoonam · 2026-07-21
- NVIDIA 用 RTX PRO 和 DGX 推本地 AI agents — nvidia · 2026-07-21
第 4 集 · 英伟达推出 Cosmos3 Edge 端侧模型,赋能 Jetson 机器人(2026-07-21,2 条)
英伟达推出了专为边缘设备设计的 Cosmos3 Edge 物理推理模型,旨在让机器人实现快速思考和行动。该模型能够部署在 Jetson 平台上进行端侧运行,实时分析视频流并理解其中的物理机制与力学原理。它支持通过文字、图像输入来预测下一步动作,大幅提升了端侧机器人的环境感知与交互能力。
- NVIDIA 将 Cosmos 3 Edge 世界模型带到 Jetson 端侧机器人控制 — liu_mingyu · 2026-07-21
- NVIDIA 发布 Cosmos3 Edge:端侧物理 AI 推理模型 — NVIDIAAI · 2026-07-22
第 5 集 · NVIDIA 发布 SIGGRAPH 2026 演讲回放(2026-07-22,2 条)
NVIDIA 公布了 SIGGRAPH 2026 主题演讲的回放资源。此次演讲重点探讨了神经渲染、世界模型以及机器人仿真等前沿领域的最新技术进展,为相关领域的开发者和研究人员提供了重要的参考信息。
- NVIDIA 放出 SIGGRAPH 2026 演讲,聚焦世界模型与机器人仿真 — nvidia · 2026-07-22
- NVIDIA 在 SIGGRAPH 2026 讲神经渲染、世界模型与机器人仿真 — Scobleizer · 2026-07-22
第 6 集 · 英伟达发布 Cosmos 3 世界基础模型(2026-07-28,2 条)
在 SIGGRAPH 2026 大会上,英伟达正式推出了 Cosmos 3 世界基础模型,旨在强化物理 AI 的理解与生成能力。同时,他们还在 Hugging Face 上发布了专为边缘设备设计的 40 亿参数紧凑型开放世界模型 Cosmos 3 Edge,以赋能机器人和视觉 AI 应用。
- 英伟达发布 Cosmos 3 Edge:专为机器人设计的 40 亿参数端侧世界模型 — NVIDIAAI · 2026-07-28
- NVIDIA 发布 Cosmos 3 世界模型,强化物理 AI 理解与生成 — NVIDIA Developer · 2026-07-30