自建 airbench 基准:实测本地模型操作键鼠解视觉挑战
dh7net · reddit · 2026-11-13
作者制作了一个名为 airbench 的测试集,构造视觉+键鼠操作挑战(如 grid captcha、图标拖拽),让本地模型以 Agent 形式模拟键盘鼠标操作来解题,并录制真实速度的执行 trace。
- 网站公开展示各模型的运行记录与回放
- 首期视频显示大多数模型都能完成这类桌面操作挑战
- 作者表示后续会分享更多挑战结果
「编程与Agent」频道最新
- agent 集群每月烧 300 万美元 token 开发多人游戏,「一小时不发版当 SEV-0」 — dl_weekly · 2026-11-13
- GitHub Copilot CLI v1.0.110 发布:agent 可代答 sudo 密码、/compact 尊重额度上限 — copilot-cli-release-app[bot] · 2026-11-13
- Replit Agent 新增自动采购与广告投放,从做产品走向经营生意 — amasad · 2026-11-13
- 2-bit DeepSeek V4.1 Flash 在双 V100 上跑编码 agent:12 小时实测 — a4mula · 2026-11-13
- GitHub 官方指南:把可复用判断写成 Agent Skills,一次构建多端运行 — GitHub Blog AI/ML · 2026-11-13
- vibe coding 应用未上线就可能吃六位数罚单:六大合规雷区清单 — aakashgupta · 2026-11-13