UCSD 的 ACT3D:让 VLM 主动探索 3D 世界,平均准确率 53.2%
UCSanDiego · hf · 2026-10-19
UCSD 与 Georgia Tech 的论文《Learning to Think and Explore in 3D World》提出 ACT3D,用强化学习训练视觉语言模型像人一样从单张第一人称视角图像出发,主动探索 3D 环境来回答视觉问题。
核心思路
- 不给模型多视角图像或 3D 表示,每次只保留一张当前视角渲染图,3D 场景仅作为可交互的环境
- 模型迭代地推理、导航、调整视角,再给出最终答案
- 先做轨迹监督微调,再用以最终答案正确性为奖励的 RL;RL 不直接监督探索动作,探索策略完全由交互对性能的提升中学得
结果:六个 3D 基准上平均准确率 53.2%,比 Qwen 基座提升 22.0 个百分点,超过闭源专有模型 Gemini 3.6 Flash。
「研究」频道最新
- Niels Rogge 推出论文订阅页:按任务/方法/作者追踪 AI 新论文 — NielsRogge · 2026-10-19
- 16MB 冻结词表替代嵌入层:Gemma 270M 级小模型 46MB 文件不掉点 — Sai Kiran Bathula · 2026-10-19
- 美团 LongCat 发布 RAP 数据集:25K 论文-海报对,海报生成变视觉编码任务 — meituan · 2026-10-19
- BELIEFWEAVER:用信念更新与世界建模让长程 Agent 学会从失败中恢复 — IntelligenceLab · 2026-10-19
- UBC 与 Vector Institute 提出免数据扩散蒸馏:一步生成 20GB 显存超越 DMD2 — vector-institute · 2026-10-19
- DeepMind 论文：用户附一句错误猜测，Agent 成功率从 67.4% 跌到 36% — i_dg23 · 2026-10-19