阿里团队发布 RecreationBench:让智能体复刻真实应用来测混合操控
TianbaoX · x · 2026-09-22
阿里 Qwen 团队推出 RecreationWorld / RecreationBench,一个评测「混合计算机使用」智能体(CLI 与 GUI 动态交替操作)的可扩展、可验证环境。
- 核心思路:让智能体仅通过使用一个应用,就把它的界面与功能复刻出来,以此衡量探索与执行能力;结果可程序化验证。
- 规模:250 个 held-out 应用,覆盖 Ubuntu、macOS、Windows、Android、Web 五个平台;评分含 Prog(功能)与 Visual(视觉)双通道。
- 榜单:官网展示各模型的 Prog/Visual 分数、Prog≥90% 与 100% 的覆盖率,以及每任务平均 API 成本,可对比 GPT-6 Astra 等模型在不同平台的表现。
- 论文附带成本—分数、探索行为、边界案例等分析;代码与网站已开源。
所属事件:阿里 Qwen 团队发布 RecreationBench 评测混合操控智能体(2 条相关)→
「编程与Agent」频道最新
- 开发者自制 Kimi K3.1 Pro 编码微调数据集，LFM3 版下载量意外爆棚 — alexcovo_eth · 2026-11-12
- 开发者放话：AI Agent 基础设施需要彻底重构，别套用 Kubernetes — krishnan · 2026-11-12
- SpaceX 工程师 Lauren Tan 七步法：月发 11000 个 PR、回滚率仅 0.5% — TheTuringPost · 2026-11-12
- Every agent 新功能：从 Slack 直接创建和编辑 Google 表单 — every · 2026-11-12
- Notion MCP Server 支持 CRUD 全流程,可接入 Cursor 与 Claude — modelcontextprotocol · 2026-11-12
- MuniSpot MCP 连接器覆盖 2 万多个美国市政财务数据 — modelcontextprotocol · 2026-11-12