阿里团队发布 RecreationBench:让智能体复刻真实应用来测混合操控
TianbaoX · x · 2026-09-22
阿里 Qwen 团队推出 RecreationWorld / RecreationBench,一个评测「混合计算机使用」智能体(CLI 与 GUI 动态交替操作)的可扩展、可验证环境。
- 核心思路:让智能体仅通过使用一个应用,就把它的界面与功能复刻出来,以此衡量探索与执行能力;结果可程序化验证。
- 规模:250 个 held-out 应用,覆盖 Ubuntu、macOS、Windows、Android、Web 五个平台;评分含 Prog(功能)与 Visual(视觉)双通道。
- 榜单:官网展示各模型的 Prog/Visual 分数、Prog≥90% 与 100% 的覆盖率,以及每任务平均 API 成本,可对比 GPT-6 Astra 等模型在不同平台的表现。
- 论文附带成本—分数、探索行为、边界案例等分析;代码与网站已开源。
所属事件:阿里 Qwen 团队发布 RecreationBench 评测混合操控智能体(2 条相关)→
「编程与Agent」频道最新
- Jev 类模型成快速廉价 browser agent 的最大解锁之一 — multiply_matrix · 2026-09-22
- Nat Friedman 承认 Muse 灵感来自 OpenClaw,曾买数百台 Mac mini — EdwardSun0909 · 2026-09-22
- SkillLift 用学习式评分替代真实 rollout,agent 技能进化省 40-70% token — dair_ai · 2026-09-22
- Deel 推出企业 agent 平台 Akai:8 千个 agent 抵 600 员工,90 天增 1.4 亿美元 ARR — AIwithGhotai · 2026-09-22
- exe.dev 走红开发者圈:SSH 即虚拟机,配 Shelley 编码 agent — davidcrawshaw · 2026-09-22
- 开发者把语音控制浏览器做成 Chrome 扩展:单次决策仅 300ms、成本 0.0002 美元 — iamrobotbear · 2026-09-22