AndroidLife 实测:Qwen3.8-27b 真机跑 60 个日常任务,成功率仅 56.7%
East-Muffin-6472 · reddit · 2026-09-18
AndroidLife 是一个在真实安卓手机上评测 AI agent 的基准:60 个公开任务(语料库共 530 个,覆盖 28 天、31 个日常 app,从电商到金融),真机 wifi 环境无模拟器,按设备最终状态评分而非模型自报,并记录温度/电量/成本遥测。首跑模型为阿里的 qwen3.8-27b(文本模式):
核心数据:
- 成功率 56.7%(60 个任务失败 43%),已是榜单上最佳文本成绩
- 平均每任务 29.25 步、约 6 分钟、$0.118;电量耗掉 69%,芯片峰值 98.2°C,机身 48.9°C
- 难度分桶:简单 80.8%、中等 52.9%、困难 23.5%
- 单 app 基本能搞定,但连续三个 app 就会原地打转直到步数耗尽——这是大部分失败来源
- 3 个"自报成功"经设备验证不成立(日历冲突判断错、没打开就报行程时间、不问用户自行猜名字)
- 11 个 ASK USER 埋点任务(隐藏只有用户知道的信息):仅问了 2 次,MULTI 类型全没问;7 个幻觉对照任务中 4 个诚实承认数据缺失、未编造
全部任务与轨迹公开可查。多 app 长程操作与主动求助仍是 agent 落地真机的最大短板。
「编程与Agent」频道最新
- 游戏开发者辟谣:AI 一天做出完整游戏多为炒作 — bendee983 · 2026-11-04
- 用 ChatGPT 从 Excel 一键生成带地图联动的交互式仪表盘 — TermRemarkable665 · 2026-11-04
- 开发者称 Agent 把开发周期从数周压缩到一天 — Suspicious_Orchid770 · 2026-11-04
- YC 孵化 Orgo：为 AI Agent 提供专属云桌面，已服务超 1000 团队 — Scobleizer · 2026-11-04
- 开发者自述：Vibe Code 出 PMF 产品后，工程化烂摊子靠专业开发救场 — sujingshen · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04