Runway 发布 Solaris:首个界面世界模型
机器之心 · wechat · 2026-09-01
Runway 公布新研究 Solaris,定义为首个“界面世界模型”。它不再通过代码生成界面,而是让模型直接在视觉空间根据用户交互(点击、拖拽)实时生成下一帧画面,让画面本身即成为软件。
核心原理:
- 基于视频生成模型 Gen-4.5,将用户输入作为生成条件,让模型预测动作后的视觉状态。
- 通过自回归生成、蒸馏去噪步骤等方式,将生成速度提升至可实时交互。
- 架构上分离了语言模型(负责推理决策)与世界模型(负责渲染画面)。
实验结果:
- 在重建复杂界面时,直接视觉生成的信息损失低于“转代码再渲染”的传统路径。
- 在 30 个交互案例的 7500 次人工对比中,Solaris 在“遵循交互指令”和“行为自然度”上均大幅领先代码方案。
应用前景:
除了革新 UI 生成,Solaris 更重要的用途是为 Computer Use Agent 提供训练环境。通过生成无限变化的界面布局,迫使 Agent 学习通用的交互逻辑而非死记特定按钮位置。
所属事件:Runway 发布首个界面世界模型 Solaris(16 条相关)→
「多模态」频道最新
- Drama-3 权重上架 Hugging Face,官方 Demo 同步上线 — Gradio · 2026-10-16
- MiniCPM-V 4.7 开源可本地跑图像理解,替你省下视觉 API 账单 — heyshrutimishra · 2026-10-16
- AI 生成超现实暗黑景观图:荒漠中矗立发光异形拱门 — piotrbinkowski · 2026-10-16
- techhalla:用 Blender 搭 3D 场景才是 AI 电影制作的正道 — techhalla · 2026-10-16
- 用 Claude Code 驱动 Blender 做出 Anthropic 小粉丝动画 — Icy-Appointment3583 · 2026-10-16
- 用 Opus/Astra/Argon 生成 Blender 动画:怎么描述依然决定成败 — chongdashu · 2026-10-16