BedBench:人类 93% 对最强模型 7%,VLM 3D 数数硬伤曝光
StanfordUniversity · hf · 2026-11-03
多机构论文（Stanford、Toronto、Oxford 等，arXiv 10-29）发布 BedBench，一个由 13 个程序化生成任务组成的受控基准，考察视觉语言模型对 3D 物体属性的单独判断与复合推理。
关键发现：
- 按颜色精确计数是显著弱点：人类准确率 93.3%，最好的模型仅 7.2%（横评 12 个开源权重模型 + 4 个前沿模型）。
- 针对性微调可把一个模型的准确率从 3.0% 提到 68.6%，但其对最常见颜色的回答仍与自己的逐色计数不一致。
- 把逐色计数以文本形式喂给模型可改善判断——说明「恢复到属性」不等于「一致使用属性」。作者探测 Qwen3.5-27B：逐色计数在语言模型输入端仍可恢复（65.0%），但模型最终答案很少用到它们（3.0%）。
- 推理、扩大规模、增加视觉线索各自都能改善单独判断，但没有一个能让精确答案变可靠；去图对照显示部分表面的成功根本不需要视觉证据。
论文主张以「精确正确性、一致性、视觉依赖」三个维度评测 VLM 的 3D 推理。
「模型」频道最新
- LFM3 1.7B 量化实测：RCO/GSQ 新 GGUF 胜过原厂，非英语掉点更狠 — maximelabonne · 2026-11-04
- DGX Spark 实测五个本地模型：Qwen3.8-27B 30 次编译通过 28 次，速度最快反而垫底 — JeremyCMorgan · 2026-11-04
- 用户实测 Hermes 移动 Agent 后退订 Grok Heavy：可控性完胜 — alexcovo_eth · 2026-11-04
- 团队宣布已用跨分布式 GPU 训练的模型，称效果很好即将公开 — markjeffrey · 2026-11-04
- 研究员求助:我的模型「知道自己在被评测」,eval-aware 问题怎么破 — nrehiew_ · 2026-11-04
- MiniMax H3 Lite/Highspeed 年末五折，Replicate 与 Cloudflare 独家 — ritakozlov · 2026-11-04