PatronusAI 开源 GlobeBench:1632 项任务测 LLM 训练 agent 能力
cephaloform · x · 2026-11-07
PatronusAI 宣布开源 GlobeBench,一个包含 1,632 项任务的新基准,用于测试 LLM 能否逼真地模拟强化学习(RL)环境、好到可以直接在其上训练 agent。
关键发现:在测试的 20 个模型中,只有排名第一的 GPT-6 Astra 达到 49.6% 的准确率,没有任何其他模型超过 30%,显示模型在环境模拟能力上差距悬殊。
发帖人以「well I'm sure that's just a coincidence」暗示这一领先或许与 OpenAI 的内部优势有关,带一点行业调侃色彩。
所属事件:Patronus 开源 GlobeBench 基准：1632 项任务评测 LLM 模拟 RL 环境能力(3 条相关)→
「模型」频道最新
- Inkling 2S 与 Dots3 跑分接近，但价格约贵 3.5 倍 — teortaxesTex · 2026-11-07
- Open ASR 排行榜新增埃及尼日利亚私留数据，细化口音评测 — andimarafioti · 2026-11-07
- 博主盛赞 Claude Opus 5.5：发布月余仍无对手 — prasenx · 2026-11-07
- Ripple-65B Preview 发布：3200 万美元研发成本登顶美国开源 agentic 编码 — The Decoder · 2026-11-07
- 22MB 视觉模型 Mirage 单次前向搞定检测/OCR/分割,手机 NPU 74ms — Henrie_the_dreamer · 2026-11-07
- 4B 小模型 Nemotron 3 Nano 特定任务流胜过前沿大模型 — eliano · 2026-11-07