GlobeBench 基准:20 个 LLM 当世界模型,最强成功率不足 50%
mariyaivasileva · x · 2026-11-07
Mariya Vasileva 等人发布 GlobeBench（arXiv:2610.22708），首个用于评测文本世界模型作为可扩展 RL 环境模拟器的标准化基准。
基准构成
- 1,632 个任务，覆盖 5 个领域、19 项模拟技能
- 检验模型能否在完整 agent 轨迹下预测环境对动作的响应
- 评测采用确定性规则门 + 语义裁判的混合架构
主要发现
- 20 个通用 LLM 与专用文本世界模型中，GPT-6 Astra 最高任务成功率仅 49.57%
- 当动作需要把状态变化传播到依赖对象时，平均成功率跌至 5.1%
- 631 个任务没有任何模型解出
系列推文的三个关键洞见
- 模型会把正确的规则应用到错误的世界状态上（Grok 4.6 把 capability 值算成 262 而非 89，把资源误判为 suspended，拒绝了本应允许的操作）
- 失败归因困难：表面上的「长上下文记忆失败」实为任务构造差异——控制构造方式后，历史长度的差距从 -30.8 点缩小到 +1.8 点
- 相同的预测误差可能导致不同的下游决策，取决于误差是否跨越决策阈值——两个预测精度相近的模拟器对策略表现的影响可能截然不同
作者呼吁更多关于误差累积、可利用性与迁移的闭环评测。论文、代码与基准均已开源。
所属事件:PatronusAI 开源 GlobeBench 测 LLM 模拟能力(3 条相关)→
「编程与Agent」频道最新
- AI 视频逐帧转描工作流:LTX 2.5 LoRA + SAM3 + BiRefNet 分层输出 — PurzBeats · 2026-11-07
- 网友分享用 Claude 整理健康档案喂给 Opus 求诊疗建议的工作流 — AaronBergman18 · 2026-11-07
- 用 Claude 订阅跑评测涉嫌违反 Anthropic 条款,榜单作者称不敢碰 — JoshPurtell · 2026-11-07
- 开发者自建 autoresearch 编码基准：开源最佳但乏善可陈，muse open 被批远逊承诺 — JoshPurtell · 2026-11-07
- OpenClaw 发布工程揭秘：三通道+每周 beta 专列+agent 押运 — heyneighbor · 2026-11-07
- 开发者全 AI 编码：把 Jev 的判断过程可视化为可追踪决策流 — dfinke · 2026-11-07