UniVR:纯视觉推理新方法
ByteDance · hf · 2026-07-17
字节跳动提出 UniVR,探索如何只靠纯视觉演示学习更广泛的世界知识,并同时覆盖三类能力:
- 复杂推理
- 细粒度物理动态建模
- 长期规划
核心方法是 VR-GRPO:一种强化学习范式,结合全局奖励与步级奖励,用来约束推理过程中的逻辑一致性和物理一致性,而不依赖任务特定启发式或图文配对数据。
他们还构建了 VR-X 基准,汇集 16 个来源,覆盖长程操作、空间谜题和物理推理,是一个纯视觉协议下的综合评测套件。实验显示,UniVR 在 VR-X 上最高提升 25%,并且其更强的视觉推理能力也能反哺多个多模态理解基准。代码、数据和模型都已开源。
「多模态」频道最新
- Magnific 预告 10 月 28 日上线新功能:「We're making it move」 — cuenca · 2026-10-27
- Midjourney --sref 实测:美式复古风 Batman 插画三连 — gizakdag · 2026-10-27
- AI视频既非电影也非动画,创作者称它最擅长呈现梦境与潜意识 — Kyrannio · 2026-10-27
- 把儿子 31 年前的童言写成歌再喂给 SUNO:一首「大象饮料」儿童合唱 — NathanpmYoung · 2026-10-27
- RTX 3060 本地产 AI MV 播破 20 万:900 张图留 64 张,3 秒切片防崩脸 — Hwang0500 · 2026-10-27
- Firefly 视频编辑器实测:一句话 Quick Cut 将 32 秒素材剪成 20 秒 — LudovicCreator · 2026-10-26