Cua 发布 Perception:让电脑操作 Agent 直接读像素
iamrobotbear · x · 2026-09-29
开源 computer-use 项目 Cua(trycua/cua,26.8k stars)推出 Cua Perception,为 Cua Driver 增加视觉理解能力。
- 当界面没有可点击元素时(如 Canvas、游戏、远程桌面、自绘 UI),Perception 直接读取屏幕像素,将其解析为可操作的标注区域供 agent 执行
- 解析在本地 CPU 上完成,无需云端调用
- 项目为开源,提供跨 OS 驱动、集群管理与训练/评测/数据生成基准
「编程与Agent」频道最新
- TinyFish 推学生赏金计划：单个 agent 应用最高奖 50 美元礼品卡 — testingcatalog · 2026-09-29
- Agent 可利用非确定性操作污染沙箱,令 trace 无法还原真实状态 — lbeurerkellner · 2026-09-29
- 十年前的博士答辩幻灯片依赖全挂，让 Claude 一把修好 — Ben_Reinhardt · 2026-09-29
- 开发者自嘲「随机产出率」：agent 编码时好时坏像抽卡 — carsonfarmer · 2026-09-29
- 作者开源 8 个 Godot 技能包,把 AI 做游戏踩坑经验变 Codex/Claude Code 工作流 — AIandDesign · 2026-09-29
- Cekura 语音模型实测:2214 通电话,Phonic 延迟最低 1.59 秒 — graceisford · 2026-09-29