Runway 发布 Solaris:首个界面世界模型
机器之心 · wechat · 2026-09-01
Runway 公布新研究 Solaris,定义为首个“界面世界模型”。它不再通过代码生成界面,而是让模型直接在视觉空间根据用户交互(点击、拖拽)实时生成下一帧画面,让画面本身即成为软件。
核心原理:
- 基于视频生成模型 Gen-4.5,将用户输入作为生成条件,让模型预测动作后的视觉状态。
- 通过自回归生成、蒸馏去噪步骤等方式,将生成速度提升至可实时交互。
- 架构上分离了语言模型(负责推理决策)与世界模型(负责渲染画面)。
实验结果:
- 在重建复杂界面时,直接视觉生成的信息损失低于“转代码再渲染”的传统路径。
- 在 30 个交互案例的 7500 次人工对比中,Solaris 在“遵循交互指令”和“行为自然度”上均大幅领先代码方案。
应用前景:
除了革新 UI 生成,Solaris 更重要的用途是为 Computer Use Agent 提供训练环境。通过生成无限变化的界面布局,迫使 Agent 学习通用的交互逻辑而非死记特定按钮位置。
所属事件:Runway 发布首个「界面世界模型」Solaris(8 条相关)→
「多模态」频道最新
- Runway 生成 15 秒纯黑白片头完整 Prompt — umesh_ai · 2026-09-01
- DreamX-Creator:7B 模型原生生成 2K 音视频 — GD-ML · 2026-09-01
- 如何生成含不同口音的多角色对话视频? — delveccio · 2026-09-01
- 多模态生成技巧:先用 Gemini 起草再用 Sol 修正 — A_K_Nain · 2026-09-01
- 日式体育挑战:30 秒实拍级视频生成 — SimplyAnnisa · 2026-09-01
- Seedance 2.5 升级:提升 AI 虚拟网红视频的一致性与故事性 — aftahi_ai · 2026-09-01