Google Android Bench 2.0 发布:GPT 6 Astra 通过率 28% 居首
sandersted · x · 2026-09-23
Google 官方推出 Android Bench 2.0,新增长程任务(long-horizon)结果,用专门 agent 考察顶尖模型在真实 Android 应用开发上的能力,覆盖 30 个任务,报告通过率、完成率、平均耗时与成本:
- GPT 6 Astra + codex:通过率 28.0%,耗时 7.9 小时,成本 $375.7,居首
- Claude Fable 5.1 + claude-code:22.7%,22.2 小时,$492.6
- GPT 5.6 Sol + codex:19.3%,8.6 小时,$235.8
- Claude Opus 5:16.7%,27 小时,$861.4(最贵最慢)
- Qwen3.8 Max:14.0%,47.2 小时,$260.2
- Kimi K3:12.0%,66.2 小时
- Gemini 3.8 Flash:8.0%,但只要 12.1 小时
该基准聚焦 Android 开发特有的挑战,现有通用基准未覆盖,旨在衡量高质量 Android 开发这一「北极星」。
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day:AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」:模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12