开放配方练出27B手机智能体,真机从31.9到59.6

OpenMobile-2: Building Versatile Mobile Agents with Scalable Environments and App-Native Tools

Chenyang Yan, Yingying Zhang, Kanzhi Cheng, Qiushi Sun, Zhengyuan Pan, Zheng Ma, Hang Yan, Yian Wang, Nuo Chen, Jialin Cao, Xingdong Gong, Wenpo Song, Han Chen, Zichen Ding, Fangzhi Xu, Shujian Huang, Xinyu Dai, Yichen Liu, Tiankuo Yao, Bo Wang, Ben Kao, Jianbing Zhang, Lewei Lu, Dahua Lin

cs.SE, cs.CL, cs.CV

2026-10-10

商汤、南大等开源手机智能体的环境与配方,用一百一十多个应用合成近一万二千条轨迹和两千多个可判分任务,27B 在 AndroidWorld 达到 79.9,真机从 31.9 升至 59.6。

这篇在解决什么

开源手机智能体缺的是可大规模重置、又可判定成败的练习场。点按轨迹要跨应用,强化学习才有奖励信号。模拟器中的真实应用接近日常使用,但登录和不可逆操作让并行训练很贵;模拟客户端重置便宜,应用却少而浅。上一代 MobileGym 的商业应用只有 12 个。

OpenMobile-2 来自南京大学、商汤等机构。MobileGym++ 新做 35 个商业风格应用,连同新配置的模拟器应用,场地超过 110 个,并放出 11643 条轨迹和 2475 个带自动奖励的任务。应用还可以露出函数,与点击交替使用。

方法

环境跑在浏览器里,模型只看像素,没有无障碍树,也不能直接读订单。状态可整份恢复。35 个应用先按真实产品的数据结构写交互,再画界面。人对照线上产品改过,并回放核心流程核对状态。动作数中位数 166,首页出发的深度中位数为 3。相较留下的 12 个旧商业应用,动作数是 1.48 倍,页面跳转是 1.91 倍。

跨应用依靠剪贴板、分享、支付跳转和选图,所有客户端共用一台可重置设备。模拟端 63 个应用,35 个为新作;模拟器端 62 个。

函数与点击改同一份业务数据,检查标准相同,所以能在同一批任务上比两种通道。比如按编号把商品放进购物车。50 余个应用一共 300 多个函数,目录仅在该应用处于前台时提供。215 题只点界面也能完成。淘宝的准备结账只打开确认页,不创建订单。

混合数据 11643 条,其中模拟器 7725 条、模拟应用 3918 条,1774 条含函数调用。强化学习任务 2475 个,每题给出目标、初始状态和校验器。

任务由状态-动作图生成。模拟器探索并合并相似画面,模拟应用则读后端规格。Gemini-3.1-Pro-Preview 撰写用户目标并执行,目标里不写控件名。模拟器用视觉语言裁判过滤,模拟应用用程序判定,无状态变化的步骤被删除。30% 的轨迹跨应用。

基座为 Qwen3.5-9B 和 Qwen3.6-27B。两版监督微调各训 5 个 epoch:纯界面,或混入工具轨迹,并保留最近 3 张截图。强化学习从混合微调继续,采用 GRPO 的组内相对优势和 DAPO 的不对称裁剪,随机使用 512 题、每题 8 条采样。视觉塔冻结,训练 rank 64 的 LoRA。奖励使用较松校验,目标完成且额外改动无害即算成功,若调用过原生工具再乘 2。报告成绩使用严格校验。

MobileGym++ Bench 含 215 题:单应用 109、双应用 74、三应用 27、四应用 5。检查器只看业务状态差。

结果

下表是 27B,基座为 Qwen3.6-27B。Bench 指 MobileGym++ Bench。

阶段AndroidWorldMobileWorld 界面MobileWorld MCPMobileGymBench 界面Bench 混合SPA-Bench
基座67.135.932.537.146.550.731.9
界面微调80.850.435.046.954.957.7未报告
混合微调80.848.745.048.455.365.657.4
加强化学习79.950.442.551.257.267.059.6

AndroidWorld 上,27B 从 67.1 升到 80.8,强化学习后是 79.9,Pass@3 从 81.9 到 90.5。9B 从 54.3 到 74.0。MAI-UI-235B 为 76.7,Gemini-3.1-Pro 预览版为 70.7,UI-Venus-1.5-8B 为 73.7。

MobileWorld 界面题,27B 为 50.4,高于 MAI-UI-235B 的 39.7,低于 GPT-5.6-Sol 的 70.1 与 Gemini 的 58.1。

真机 SPA-Bench 的 L3 上,27B 从 31.9 到混合微调 57.4,再至 59.6;9B 从 25.5 到 48.9。表中复现的 GPT-5.6-Sol 为 29.8。

打开工具的增益,混合微调后 9B 为 5.6 分(39.1 对 44.7),27B 为 10.3 分(55.3 对 65.6)。未经该训练时,Qwen 只多 2.8 到 4.2 分。训练后两个模型在 113 与 128 题中调用工具,轨迹缩短 4.8 与 5.8 步。未见过的 MobileWorld MCP 上,混合微调得到 27.5 和 45.0,界面微调为 12.5 和 35.0。强化学习使 27B 从 45.0 降到 42.5。

MobileGym 成功率从 35.9 到 38.3(9B),从 48.4 到 51.2(27B)。AndroidWorld 没有继续上升。

固定 2000 条轨迹,应用从 15 增至 53,留出应用的 Pass@1 从 60.7 到 67.5,分布内从 73.7 到 71.4。与测试指令相似度超过 0.7 的微调目标不超过 2.25%,没有超过 0.9 的;强化学习目标中 6.1% 与自建基准超过 0.7。

为什么重要

可以直接用的是环境、11643 条轨迹、2475 道自动判分题、215 题基准和两个模型。35 个复刻应用的动作数是前代商业模拟应用的 1.48 倍。

同等 2000 条预算下,应用种类从 15 增到 53,新应用高 6.8 分,旧应用几乎不动。预算有限时,增加应用比重复采样更有用。

函数和点击共享状态与检查标准之后,混合训练才让工具被用起来,成功变高、步数变短。强化学习在 MobileGym 上多 2.4 到 2.8 分,真机再多 2.2 分。已带校验器的 2475 题更适合别人接着训练。

局限与存疑

这些商业应用是复刻,官方安装包不在环境里。论文没有给出视觉保真或流程覆盖的数字,交互深度中位数只有 3。

目标撰写和轨迹示范都来自 Gemini-3.1-Pro-Preview。开放的是结果数据,生成过程依赖闭源模型。模拟器轨迹由视觉语言裁判过滤,噪声未量化。

调用一次原生工具会使训练奖励乘 2。报告用严格校验,与这套奖励口径不同。外部对照的提示词也不统一,AndroidWorld 上和 235B 模型的高低不能当成同协议排名。

真机 59.6 相对基座 31.9 接近翻倍,复现的 GPT-5.6-Sol 为 29.8,但多数强开源模型缺少真机分数。MobileWorld 界面分 50.4 仍低于 GPT-5.6-Sol 的 70.1 和 Gemini 的 58.1。强化学习离开模拟环境几乎不涨,AndroidWorld 还从 80.8 降到 79.9。自建基准上 6.1% 的训练目标相似度超过 0.7。

术语

原文与代码

相关论文

全部论文解读