Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live IOS Apps
Peitong Duan, Khashayar Gatmiry, Jeffrey Nichols, Samy Bengio, Emmanuel Abbe
cs.AI
2026-10-29
Apple 团队把规划与grounding 拆开,用 512 台并发 iOS 虚拟机做在线 PPO,8B 规划器在 UINavBench 从 16.7% 升到 32.4%,与 Gemini-3.1-Pro 持平。
用前沿模型操作手机界面,单个任务动辄几美元,日常用不起。小模型靠 SFT(监督微调,拿人类演示轨迹照着学)训练,容易背轨迹:走偏一步就不知道怎么回头。已有的在线 RL 多数只在任务结束时给一个成败信号,中途哪怕做对了九步,最后失败也拿不到任何奖励,信号很稀疏。
这篇的目标是在真实 iOS 应用上做在线 RL,并且让中间步骤也有反馈。
整体由三块组成。
另有一个变体 GiGPPO。GRPO 系的 GiGPO 靠「完全相同的状态」做步级基线,但真机上同一任务 4 到 8 条轨迹几乎不会出现完全相同的屏幕。GiGPPO 改为用 64 位感知哈希在兄弟轨迹里找汉明距离最近的状态,把邻居的回报和距离喂给一个约 0.9M 参数的 MLP,由 critic(价值网络)自己决定该信多少。训练还要先冻结策略、单独热身 critic 15 步,否则优势估计被价值误差淹没。
基础设施方面,用云端 iOS 虚拟机快照回滚,重启约 10 秒,训练时 512 条轨迹同时跑。每步 16 个任务、每任务 8 条轨迹,单集最多 30 步。
| 设置 | UINavBench | iOSWorld | AndroidWorld |
| SFT 基线 | 16.7% | 4.5% | 4.7% |
| PPO(仅终局奖励),Step 336 | 21.6% | 7.5% | 19.8% |
| PPO,Step 336 | 32.4% | 2.3% | 32.8% |
| GiGPPO,Step 336 | 28.4% | 9.8% | 31.9% |
| Qwen3.8-27B | 19.6% | 19.5% | 49.1% |
| Gemini-3.5-Flash | 28.4% | 12.9% | 57.8% |
| Gemini-3.1-Pro | 32.4% | 39.5% | 60.8% |
在 UINavBench(116 个真实 iOS 应用任务)上,PPO 追平 Gemini-3.1-Pro,超过 Flash 和 Qwen3.8-27B。只在 iOS 上训练的 agent 迁移到 AndroidWorld,从 4.7% 到 32.8%,即摘要所说的近七倍。稠密奖励带来的是收敛速度:标准 PPO 跑 168 步(一个 epoch)的成绩已经不低于仅终局奖励 PPO 跑 336 步。GiGPPO 在 UINavBench 上用 75 步和 168 步,分别接近 PPO 的 168 步和 336 步。
对想训练端侧或低成本 UI agent 的团队,这篇给了一套能照抄的配方:LLM 裁判逐步打分、折扣只加在稠密项、critic 单独预热。它也证明了在线 RL 在真机上能做到数百路并发。但「追平 Gemini-3.1-Pro」只在一个基准上成立,属于局部结论。