Patronus 开源 GlobeBench:测 LLM 能否胜任 RL 训练模拟器
mariyaivasileva · x · 2026-11-08
Patronus AI 开源 GlobeBench，共 1,632 个任务，用于检验 LLM 能否足够逼真地模拟强化学习环境、从而在其上训练智能体。在测试的 20 个模型中，只有 GPT-6 Astra 达到 49.6% 的准确率，其余模型均不足 30%。
研究者 Mariya Ivasileva 提出了更有意思的两个反向问题：
- 一个单步准确率很差的模拟器，是否仍能为 RL 提供有用的训练环境？
- 一个高度精确的模拟器，会不会反而教会 agent 错误行为？
GlobeBench 回答了其中一部分：即 LLM 到底能复现哪些状态转移、不能复现哪些。评测、数据与相关工作已开源。
所属事件:Patronus 开源 GlobeBench：测 LLM 充当 RL 世界模型能力(4 条相关)→
「研究」频道最新
- LLM 既是论文作者也是审稿人，学界身份混淆引热议 — miniapeur · 2026-11-08
- 研究揭示:降温采样为何能修正生成模型训练数据不足的偏差 — bravo_abad · 2026-11-08
- 学界抗议审稿人用 AI 自动生成同行评审:对作者的不尊重 — TuhinChakr · 2026-11-08
- AI 论文冰山图走红:从 Attention 到冷门 RL 论文分七层 — burny_tech · 2026-11-08
- LEV-2.6B 深度1到4,JevBench 成绩从 63.2% 升至 76.2% — RobertTLange · 2026-11-08
- 90 秒手算神经网络:一条推文讲透前向传播的数学 — HarperSCarroll · 2026-11-08