RealityBench 基准发布：35 个 VLM 评测显示模型擅长读文字却量不好尺寸
arnabdotorg · x · 2026-10-28
Relantic 发布 RealityBench：用 Blender 在 11 个模拟环境（屋顶光伏安装、汽车维修）中建模真实体力工作，评测 VLM 从工人相机/智能眼镜视角理解并记录工作的能力，包含可扩展的环境与程序化评分器（acceptability 已与人工标注校验），配 arXiv 论文与 HF 数据集。
- 评测 35 个 VLM：OpenAI 的 Astra、Anthropic 的 Fable、Gemini Flash 在文档化（documentation）任务上表现最好，但普遍弱于读取测量数值、判断小零件和空间关系。
- 端侧模型如 Google 的 Gemma、Liquid 的 LFM 达到顶级模型约 80% 的文档化分数，对该类负载很有前景。
- 模拟与真实照片匹配的问题上结果一致，说明仿真可预测现实。
- 作者称 OpenAI 新的 Terra 版本表现意外地好，且加入 Clef 后发现新 Pareto 前沿：决策（decisions）是理解物理世界的高性价比路径。
「模型」频道最新
- Gemini 4 Carbon 登顶 AA 榜,多数基准超越 Opus 5.5 与 GPT-6 — Yuchenj_UW · 2026-10-29
- Reddit 转贴 Gemini 4 Carbon 发布消息与基准表 — Marimo188 · 2026-10-29
- 网传 Gemini 4 Carbon 评测表:AA Index 59 分,18 项中 14 项领跑 — Angaisb_ · 2026-10-29
- Hugging Face 员工转发 Gemini 4 Carbon 评测表 — osanseviero · 2026-10-29
- Google 官宣 Gemini 4 Carbon：登顶 AA Intelligence Index v5.0 — GeminiApp · 2026-10-29
- 谷歌发布 Gemini 4 Carbon：网络安全与长程任务全面 SOTA — rseroter · 2026-10-29