RealityBench:26 个 VLM 评测显示模型会读字不会量尺寸
arnabdotorg · x · 2026-10-14
Relantic 团队发布 RealityBench,一个用 Blender 仿真构建的基准,用于评估视觉语言模型理解与记录体力工作的能力——比如工人通过智能眼镜记录屋顶光伏安装、车辆维修等现场任务。基准含 11 个可修改的仿真环境和两类任务:可接受性(某视角能否作为工作证明)与文档化(能否从该视角理解任务相关状态),并提供经人工校验的程序化评分器。
对 26 个 VLM 的评测结论:
- OpenAI 的 Astra、Anthropic 的 Fable 和 Gemini Flash 在文档化任务上表现最好,但在读取测量数值、判断小零件与空间关系上明显薄弱;
- 端侧模型(Google 的 Gemma、Liquid 的 LFM)能达到顶级模型约 80% 的文档化得分,对边缘部署是好信号;
- 在有真实照片对照的问题上,仿真评测结果与真实场景表现一致。
基准以可扩展形式开放,支持研究者自行修改环境生成有据可依的评测,可申请早期访问。
所属事件:RealityBench用3D仿真评测VLM物理世界理解力(4 条相关)→
「研究」频道最新
- 新 AI 基准发布即被顶:称某模型 Astra 已刷到 98% 饱和 — tszzl · 2026-10-15
- AIPOCH 开源本地优先 AI 科研工作台,可打包可复现研究会话 — JaynitMakwana · 2026-10-15
- 数学家盛赞「OAI 证明」:无 Siegel 零点证明讲解文档上线 — basedjensen · 2026-10-15
- 测试集污染研究被 NeurIPS 拒稿:一条副本即可让模型「低于不可约误差」 — RylanSchaeffer · 2026-10-15
- Ofir Press 团队开源多模态编码评测基准,探索能力边界前沿 — OfirPress · 2026-10-15
- AdaBoost 作者 Schapire 在 UW 麦迪逊分享「无穷远处凸分析」新书草稿 — prof_kamilov · 2026-10-15