RealityBench 用 Blender 仿真 3D 世界评测 26 个 VLM 的体力劳动理解力
arnabdotorg · x · 2026-10-15
Relantic 团队发布 RealityBench:用 Blender 构建的 11 个仿真 3D 环境(屋顶光伏安装、汽车维修两大任务)组成的可扩展评测组合,用于评估 VLM 记录与理解人类体力劳动的能力。
- 可扩展而非固定图集:世界是模拟器,可程序化修改、「弯曲」现实生成新的 ground truth,并带程序化评分器(经人类标注验证)。
- 两类任务:Acceptability(判断视角是否适合作为工作证据)与 Documentation(从视角理解环境任务相关状态)。
- 评测 26 个前沿 VLM:OpenAI 的 Astra、Anthropic 的 Fable、Gemini Flash 在 documentation 上表现最好,但读测量数值、判断小部件与空间关系仍弱;端侧模型如 Gemma、Liquid LFM 达到头部约 80% 的分数。
- 早期访问已在 Hugging Face 与官网开放。
所属事件:RealityBench用3D仿真评测VLM物理世界理解力(4 条相关)→
「研究」频道最新
- Microduck 机器人仅靠 64 像素ToF实现板载SLAM重定位 — chris_j_paxton · 2026-10-15
- 新论文用 Fisher 信息解释 LLM 后训练参数更新为何稀疏 — tokenbender · 2026-10-15
- 香农忆「熵」命名往事:冯·诺依曼称没人懂熵,争论永占上风 — eigenron · 2026-10-15
- 两人小队 304 GPU 时训出 HobbyLM,算力仅为同级 1/100-1/400 — msharmas · 2026-10-15
- AReA 论文提出自适应感受野注意力，为高分辨率扩散模型提效 — Apprehensive_Sky892 · 2026-10-15
- ACCRUE:真实机器人持续 RL,新任务仅需 4-12 分钟交互达 95% 成功率 — coallaoh · 2026-10-15