厦大发布 RoTA-Bench:VLM 转 3D 旋转控制远落后人类
MAC-AutoML · hf · 2026-10-16
厦门大学与南洋理工团队发布 RoTA-Bench,通过交互式 3D-to-2D 投影对齐任务评测视觉语言模型的空间推理能力。
- 任务设定:给定目标剪影,模型观察一个旋转的物体,在有限动作预算内选择连续旋转来恢复目标投影,需要推断物体几何、预测旋转效果并根据视觉反馈修正动作。
- 自动化流水线可批量构建剪影目标,支持多轮交互评估。
- 主要发现:现有 VLM 难以把 2D 视觉观察转化为精确的 3D 旋转控制,与人类在该投影对齐任务上存在巨大差距。
「研究」频道最新
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16
- 美团 LongCat 发布 WorldCast 基准：320 案例考多步世界状态预测 — meituan-longcat · 2026-10-16
- RES 环境递归扩展：六大模型长程任务成功率暴跌 57-77 个百分点 — Lingxiao Jing · 2026-10-16
- 哈佛提出 MPT：用「竞标市场」训练去中心化 Agent 集群自组织 — Harvard · 2026-10-16
- MIT 生物系联合计算学院招聘计算生物学助理教授，欢迎生成式 AI 方向 — anshulkundaje · 2026-10-16
- 开发者在 Colab 持续预训练 Luganda 语小模型，8 小时跑到 41% — weskambale · 2026-10-16