AgenticRL-Bench 首发实测:六大智能体最高通过率仅 14%
cuijiaxun · x · 2026-11-12
Eigent AI 的 The Environment Lab 发布 AgenticRL-Bench,首个让智能体执行 agentic RL 工作的基准,探索「如果 RSI 发生,智能体能否接管研究者在 agentic RL 上的工作」。
- 任务构成:22 个任务全部重建自真实生产级 agentic RL 系统的事故案例,覆盖 Miles、Slime、Verl、SGLang、Harbor 等系统,横跨训练数据、harness、算法、RL 基础设施、recipes、评测、监控、能力迁移 8 个层面
- 可验证任务成绩:6 个 agent 各跑 3 次,19 个可验证任务中,最强者(Claude Opus 5.5 / Gemini 4)pass@1 也只有 14.0%,最弱仅 1.8%
- 开放式任务:3 个开放任务中,智能体仅用 4×H200、10–16 小时就改进了真实策略或训练步骤;在「Zero Signal Hill Climb」任务中,基础模型原本 38 个任务全挂,最佳尝试自主发展出了自己的方法
结论:当前顶尖 agent 距离自主承担 agentic RL 研究还有很大差距,但已出现自主方法探索的早期迹象。
「编程与Agent」频道最新
- 观点:AI 基础设施正演变为「编码运行时」,智能单元将超越 token — prateekj · 2026-11-12
- Claude Docs/Slides 拒绝外部 MCP 接入,无公开 API 只能导出 — steipete · 2026-11-12
- Anthropic 详解 Agent 记忆:让 Claude「做梦」整理会话记录纠错建知识 — rseroter · 2026-11-12
- 本月已集齐三场 AI 游戏开发比赛,奖金最高 4.78 万美元 — Promptmethus · 2026-11-12
- 开发者开源 PrefixRelay:让 Cursor 稳定复用 KV 缓存跑本地模型 — jjusko20 · 2026-11-12
- Rust 推理引擎 Kinetic 实测 0.13 秒答 2.2 万 token 文档,比 llama.cpp 快 84 倍 — jasonkneen · 2026-11-12