RoTA-Bench 揭穿 3D 空间推理短板:人类近满分,最强模型仅约 17%
_akhaliq · x · 2026-10-17
新基准 RoTA-Bench 专测 3D 空间推理:模型需根据 2D 视图在 3D 中旋转物体来对齐投影(含深度着色视图、5°/10°/30° 等旋转步长、IoU≥0.90 判定)。共 674 个任务、100 个测试任务,按 2-6 步到 10-16 步分层。
成绩反差极大:人类(n=4)成功率约 100%、最终 IoU 0.923,而表现最好的 GPT-5.6-Sol 仅约 17%(IoU 0.598);ReAct、Gemini 3.6 Flash、GPT-6-Astra、Claude Sonnet 5/Opus 5、Qwen 3.7 Plus 等全部在 46%-63% 的 IoU 区间徘徊,成功率普遍很低。说明前沿模型在「从 2D 投影想象并操控 3D 旋转」这一基础空间能力上与人类差距悬殊。
所属事件:厦大推 RoTA-Bench:3D 空间推理最强模型仅 17%(2 条相关)→
「研究」频道最新
- LLM 为何偏爱压缩语言？信息密度压力假说引讨论 — code_star · 2026-10-23
- Meta 论文抛弃 tokenizer:字节模型蒸馏后反超 token 模型 — mtizard · 2026-10-23
- Escalante 新文:用设计 binder 组合编码实现高通量蛋白组鉴定 — PatrickKidger · 2026-10-23
- 普林斯顿 ASD:VLM 自蒸馏教会机器人零标注语言导航 — shahdhruv_ · 2026-10-23
- 首届 WICE 2027 研讨会征稿:协作学习的激励与贡献评估 — thegautamkamath · 2026-10-23
- 用 300 条回放教会 Qwen2.5-VL 玩 TrackMania，无需强化学习 — k7agar · 2026-10-23