screenshot→思考→xdotool 执行：可复现的计算机操控 Agent 循环
NielsRogge · x · 2026-11-04
NielsRogge 分享一个完整的计算机使用（computer use）Agent 循环实现：
- 通过沙箱文件 API 截取屏幕
- 模型返回 <think> 推理 + Action + 工具调用
- xdotool 执行点击/键盘输入，bash 在同一沙箱中运行
- 循环重复执行
Gradio UI 实时流式展示屏幕画面、模型推理过程，以及一个红点标记每次点击的位置。模型基于 Transformers 发布，提供在线 Demo 可直接试用。
「编程与Agent」频道最新
- OpenAI 与 Amplitude 在旧金山办 Codex 社区之夜，主题「自我改进产品」 — paw_lean · 2026-11-05
- 两个机器人自动互相交接家务:Airbnb 管家 bot 与采购 bot 无人工协作 — msg · 2026-11-05
- Reddit 网友提议:用 Agent 把碎片化自定义推理引擎拆解成可复用积木库 — nasone32 · 2026-11-05
- 实测：Codex 20 美元档约能连续干活 2.5 至 3 小时 — tristanbob · 2026-11-05
- 开发者帮母亲抗癌时做出免费 AI 病历工具，开源给所有患者家庭 — Scobleizer · 2026-11-05
- 开发者做免费游戏 Claude Code Quest,动手闯关学 Claude Code — wesam_mustafa100 · 2026-11-05