RealityBench 基准：VLM 记录体力工作强在文字弱在读数与空间推理
relantic · hf · 2026-10-20
研究者在模拟环境中发布 RealityBench 基准，评测视觉语言模型记录人类物理作业（documenting human physical work）的能力。
- 结论：VLM 在文本化的工作记录上表现较好，但在测量读数、空间推理和可接受性判断（acceptability judgment）上明显偏弱。
- 配图：成本-得分散点图显示，头部模型（如 Gemini 4 Argon、Claude Fable 5.1、GPT-6 Astra）得分约 80–85%+，价格多在 $1–$100 区间；低价/开源小模型（如 Gemma 4 31B、LFM2.5-VL-3B）以更低成本取得 65–79% 的得分，性价比差异显著。
该基准可用于评估 VLM 在实际物理工作文档化场景中的落地可行性。
「模型」频道最新
- 用户抱怨 Claude 用量额度消耗明显变快 — prasenx · 2026-10-20
- 用户吐槽 ChatGPT 待办任务不断消失：做完一项其余全丢 — koltregaskes · 2026-10-20
- Mobileye 联创的新公司 doubleAI 称可将客户算力成本削减 67% — pstAsiatech · 2026-10-20
- 长期批评 Anthropic 的开发者：Claude 5.5 系列让我重回 Claude 阵营 — intellectronica · 2026-10-20
- Vals AI 评测：DeepSeek V4.1 Flash 攻防任务击败 GPT-6 Sol — Nunki08 · 2026-10-20
- ModelScope 开源 MemT-1.0:把持久记忆写进模型计算,128K 历史提速 1.86 倍 — kalyan_kpl · 2026-10-20