Zing-0.5: Toward Playable Worlds with Real-Time Joint Action and Text Control
Mingyang Chen, Shengdong Chen, Xiaoxiao Fu, Bosheng Gong, Haoyuan Guo, Bowen Li, Jiawen Li, Kejun Li, Tianpeng Li, Yin Liu, Haoze Sun, Zeyang Tian, Meng Wang, Xinmiao Wu, Jiangqiao Yan, Zining Zhao
cs.CV, cs.LG
2026-09-16
SeedLeap 从 Wan2.2-TI2V-5B 做出可玩世界模型 Zing-0.5：带幅度键盘和在线文本同会话生效。四步蒸馏下 832×480 跑 24 FPS，租卡约 0.009 美元/流/分钟。WBench Navigation 158 例总分 81.0。
可玩的生成世界要求三件事连在同一次会话里：探索、干预、根据反馈再动手。现有交互世界模型把键盘和相机控制做熟了，语言条件系统能改内容和行为，两边常常是两套模式。键盘管连续位移和视角，文本管角色、事件和环境变化。拆开之后，用户没法边走边改事件，也没法看着改完的结果继续开。
另一头是时间尺度对不上。文本事件跨多个生成块，在线交互又必须短块增量，还得接得住中途新出现的指令。再往下是钱：要让人反复试，480p 实时得跑得起。
骨架是 Wan2.2-TI2V-5B，加一条 3.68M 参数的动作分支（约合主干 0.074%），投影零初始化。动作是 8 路非负幅度：WASD 移动，IJKL 视角，可同时按下。刻意不用相机位姿当中间表示，避免生成运动和位姿增量打架、文本改视角时更对不上。幅度是相对强度，不是米制位移，来源各自标定。动作特征加到对应 latent 帧的视觉 token 上；文本按时间区间做 cross-attention，只刷新文本 K/V，视觉 K/V 留下。
数据拼了图文、视频文、录制游戏、带相机标注的真实视频和合成序列。过滤亮度、锐度、美学和 OCR 文字占比。动作分布里纯 W 前进太多，被降采样。联合控制序列把分段 caption 和连续幅度对齐到同一条视频，并保留双事件整段来监督提示切换。另有 30 秒游戏片段拉长历史。
训练四段。双向适应先在短序列上注入动作，混入无动作的 T2I/T2V/I2V，再看 30 秒视频。自回归适应分两支：段级教师对整个提示区间双向去噪、段间因果，用来学跨提示续写；块级学生一次 4 个 latent 帧（解码 16 帧），接在线输入。首帧单独按 T2I 再 I2V 训，避免烂第一帧把后面带崩。学生历史做干净、噪声、模糊和通道均值偏离缩放。随后 ODE 初始化加局部 consistency，教师是因果的、用真值历史，避免双向教师把未来漏给学生。最后 DMD：段级教师当真实分布打分器，学生在自己的 rollout 上对齐。变长样本用 Self Gradient Forcing 的无梯度 rollout 再打包回放。一批里一部分走 Data-Forcing Distillation，教师看加噪真值。推理四步，训练已含 guidance，不必无条件二次前向。
推理：8 张 RTX 5090，一卡一流，832×480 客户端 24 FPS，无节奏稳态 24.63。视觉 KV 有固定 sink 加滑动窗；提示切换时钉住切换后第一帧，容量仍封顶。循环块用轻量 TAEHV 解码，H.264/fMP4 进有界环形队列。
WBench Navigation 158 例，官方图和规定动作，生成 1248×704、每块四步、24 fps，评质量、场景、交互、一致性、物理可信。
| 模型 | 总分 | 一致性 | 物理 |
| JoyAI-Echo-1.5 双向 | 81.6 | 89.8 | 70.6 |
| JoyAI-Echo-1.5 4-step | 81.0 | 88.3 | 70.1 |
| Zing-0.5 5B 4-step | 81.0 | 88.5 | 73.8 |
| HiDream-O1-World | 80.9 | 88.0 | 73.3 |
| Alaya-EVOKE 3-step | 80.8 | 86.9 | 72.1 |
| LingBot-World v2 fast | 79.4 | 86.5 | 69.1 |
5B 四步和 Echo-1.5 四步总分打平，物理 73.8 是表里最高。这套分数只评导航条件生成。联合控制是定性演示：雪地雪橇一边键盘开、一边用文本让角色欢呼和撑伞，不重启生成；还有点火树喷金火花、糖果屋融化、穿镜子进花园、城市出彩虹、战场火雨、角色起飞、坐骑喷火。租卡估算约 0.009 美元/流/分钟。权重、推理代码和 Zing-SGLang 服务实现会放出来。
把「可玩」定义成同会话里键盘加文本，重点不在更高的导航榜分数。5B、四步、一卡一流、不到一分钱一分钟，是能让人反复试的量级。动作用带幅度的按键而不是相机轨迹，数据采集和训练推断接口一致，也避开位姿误差在长 rollout 里放大。段级教师给块级学生做事件尺度监督，是少步因果世界模型里一个清楚的蒸馏分工。
导航榜上这是和更大或双向模型并列，不是拉开。联合控制还没有对等的定量基准。
作者写得很直：选段里的可见响应，不证明后果在换视角或稍后交互后还在。模型不单独追踪实体状态，也不执行转移规则，该记住的事实只能藏在视觉上下文、文本和方向动作里。出画不等于不存在，事件结束不等于后果消失，有界 KV 还可能把证据丢掉。自回归错误会变成后续上下文。长序列和历史扰动改善的是续视频，不引入持久事实机制。DMD 训久了会出现高频噪声和饱和度下降。WBench 不测在线文本。0.009 美元是租卡估算，不是实测账单。