MirroS 发布 AgentGarten：代码管物理、神经渲染出画面，30fps 演化智能体
量子位 · wechat · 2026-10-08
MirroS 团队发布 AgentGarten，把可执行代码环境与实时神经渲染器接成闭环：代码定义物理规则与状态（确定可控、无「幻觉物理」），渲染器根据代码导出的深度/法线「几何草图」实时生成拟真画面，480p 下吞吐超 30fps，智能体以第一人称视觉持续行动、试错。
捉迷藏复现：在重做的 OpenAI 2019 捉迷藏实验中，智能体靠 Python 控制动作、纯看画面决策。2019 年用自我博弈 RL 学会搭掩体约需 2500 万局、借坡道翻墙约 1 亿局；AgentGarten 中躲藏者第 4 轮学会搭掩体，搜寻者第 10 轮掌握翻墙。关键是每轮结束后智能体撰写「实验手册」（记录所见事实、猜测、防坑指南），作为先验传给下一轮。
通用性：同一套「领受任务→盲盒试错→写手册→封存传代」流程在陪伴小狗、狭桥会车、合作牧羊、采石场装载机四个世界均呈现稳定进化（如会车总耗时 71→41 秒）。
渲染器技术：流式逐块生成、精确重放机制保证长交互不漂移、引入真实视频判别器的 Adversarial Forcing 训练、手写 Triton 融合算子+CUDA Graph+轻量解码器实现 30fps 实时。团队称这是迈向 Physical RSI（物理世界递归自我改进）的探索。
所属事件:AgentGarten 让智能体在神经渲染世界中高效学习(2 条相关)→
「具身」频道最新
- KAIST 提出 ME-World:多智能体第一人称世界模型联合去噪生成 — kaist-ai · 2026-10-09
- Scoble 亲测 Tesla Cybercab：超出预期，还想买来出租 — Scobleizer · 2026-10-09
- 研究员称自我中心数据采集正当红，当年项目超前时代 — gragtah · 2026-10-09
- DreamTrue世界模型:反事实后训练把交互缺陷率从48%降到6% — Junyan Li · 2026-10-09
- NVIDIA USDCraft:用LLM写程序重建可操作的铰接3D资产 — nvidia · 2026-10-09
- 浙大 SuperNav:免微调 MLLM 加导航工具,任意场景执行任意任务 — zju3dv · 2026-10-09