ABot-World-0 在单张 RTX 5090 上滚动 720P 交互世界
Fan Jiang · hf · 2026-07-22
ABot-World-0 在单张 RTX 5090 上实现 720P 长时程交互滚动
这篇工作提出 ABot-World-0，是一个面向实时、长时程闭环交互的动作条件视频世界模型。
- 数据管线来自多个来源，包括 3A 游戏、仿真引擎和互联网视频。
- WorldExplorer 会根据训练反馈做 agent 驱动的数据采集；整条数据流水线还包含 14 个确定性质量检查、VLM 评估，以及动作和文本的同步标注。
- 模型从一个双向 teacher 蒸馏成 causal student，使用了 teacher forcing 和 ODE distillation。
- 作者还提出 LongForcing，把长时间自回滚与更长时域的 teacher 对齐，缓解分布偏移和自回归漂移。
- 交互接口用原始键盘动作统一支持场景漫游和第三人称角色互动，同时引入 reference-character memory 来保持外观一致性。
- 部署侧，他们联合设计了流式推理栈，包括轻量 VAE decoder、efficient attention、memory-aware scheduling 和 low-bit DiT 推理。
- 在优化后的低比特配置下，系统能在 单张 NVIDIA RTX 5090 上以最高 16 FPS 流式输出 720P 视频，首帧延迟约 1.2 秒，峰值显存约 19 GiB。
- 在 WorldRoamBench 和长回滚实验中，模型表现出较强的可控性与连贯的长期世界演化能力。
「具身」频道最新
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- 波兰开发者做 iPhone 应用 可探测附近的 Meta 智能眼镜 — Low-Honeydew6483 · 2026-09-11
- 蚂蚁阿福用户达 1.5 亿，外滩大会展示 AI+硬件健康管理联盟 — APPSO · 2026-09-11
- JHU 开设全栈机器人学习课:组装机械臂、采数训练部署一条龙 — _krishna_murthy · 2026-09-11
- SyncWorld:少量视觉校准即可零样本模拟机器人跨视角交互 — ChongZzZhang · 2026-09-11
- 狗类 3D 姿态数据集发布，动物动捕研究可用 — ducha_aiki · 2026-09-11