Patronus AI 发布 GlobeBench:1632 项任务考 LLM 世界模型能力
PatronusAI · hf · 2026-10-20
Patronus AI 发布 GlobeBench,首个标准化评测文本世界模型的基准:覆盖 5 个领域、19 种模拟技能、共 1,632 项任务,检验模型在给定完整 agent 轨迹时能否预测环境对动作的响应,包括理解此前状态变化、遵循环境规则、预测动作对相关与无关物体的影响。评估用混合架构(确定性门控 + 语义裁判)对比预测与执行推导的参考答案。在 20 个通用 LLM 与专用文本世界模型中,GPT-6 Astra 最高任务成功率仅 49.57%;模型准确率随动作影响范围扩大而下降,当前 LLM 普遍难以把动作效应传播到依赖物体上。
「研究」频道最新
- 无反向传播预训练追平 backprop：forward-only 在 Noise 基准刷新纪录 — tensorqt · 2026-10-20
- NeurIPS 2026 论文 IPW：衡量本地 AI 的「每瓦智能」效率 — HazyResearch · 2026-10-20
- Cohere Labs 安全组讲座：Goodfire 研究员讲全流程模型可解释性 — Cohere_Labs · 2026-10-20
- NeurIPS 论文:AI 模型可在权重中加密隐藏任意危险能力 — MoonL88537 · 2026-10-20
- 2.6 万中国学生研究：用 AI 作业分数涨，考试成绩反跌 — Dr_Alex_Crimi · 2026-10-20
- 开发者把 Gemma 4 E2B 后训练成决策模型，更快更强 — andrew_n_carr · 2026-10-20