Simular 李昂演示「自主计算机」：视觉 Agent 与可复用技能结合
AI Engineer · youtube · 2026-10-12
AI Engineer 大会工作坊上，Simular 创始人 Ang Li 展示了其 computer use agent 的基础设施思路：
- 核心方法：将适应性强视觉 Agent 与可复用的自动化代码结合，每步运行时检查环境——Agent 把周二成功找到会议讲者的操作保存为「skill」，周三尝试重放；环境变化导致失败时回退到模型驱动的探索再完成流程。
- Agent S 演进：从基于 accessibility 的控制走向 visual grounding、多模型协作与并行尝试。
- 演示内容：编码 Agent 打开网站、读取 accessibility 快照并生成摘要；代码重放与故障恢复；传统表单自动化与 Android 交互示例。
- 基础设施讨论：从 Agent 占用个人桌面扩展到通过接口/API 控制的云端桌面集群。
- 可靠性命题：不满足于「成功一次」，而是追问在 prompt 和环境变化下能否反复完成同一任务；现场问答涉及屏幕理解、验证循环、不可逆操作与系统限制。
结论是实验性方向：benchmark 进步与 demo 成功之外，日常 computer use 的可靠性仍有大量工作要做。
「编程与Agent」频道最新
- 用 Opus 5.5 指挥即梦 CLI 自动生成分镜,做出有质感的故事片 — op7418 · 2026-10-12
- 代码 Review 之争:质量靠测试灰度回滚,还是靠人工逐行审? — dotey · 2026-10-12
- 实测多个 AI Agent 订机票:验证码成最大拦路虎 — nicolechirps · 2026-10-12
- Meta 团队提出 ReHarness,反向修订经验让智能体在线持续学习 — Yuxin Xiao · 2026-10-12
- 本地 VLM 自动给 5600 个 LoRA 写卡片，作者开源编目与推荐工具 — EricRollei · 2026-10-12
- 腾讯元器智能体平台11月9日停服，在平台上创业的开发者遭殃 — sujingshen · 2026-10-12