AI Agent 自主操作 FileMaker 建库,并用作者克隆音讲解每一步
petrusenko_max · x · 2026-11-02
开发者 petrusenkomax 演示了一个只用自然语言下任务的 AI agent:指令是「打开 FileMaker、新建数据库、命名并保存」,agent 自行决定点击步骤,屏幕上可见鼠标移动,并用作者的声音克隆全程解说每次点击。
技术栈要点:
- Hermes Agent 负责决策:读任务、选下一步动作、验证结果后再继续
- JSON action map 记录 FileMaker 按钮、菜单和对话框的位置
- Notion 存放规则(如何处理弹窗、何时停下来问人)和运行日志
- 通过 macOS Accessibility(AppleScript) 实现真实点击,配合 Kokoro TTS + F5-TTS 声音克隆,用词级时间戳保证语音与点击同步
- screencapture + ffmpeg 把录屏与解说合成视频,整套跑在独立 Mac mini 上
换一个任务就能自动生成新的解说视频,无需重新录制。作者下一步计划支持 schema、值列表,以及把书面操作手册自动转成培训视频,并询问团队目前怎么做软件培训。
「编程与Agent」频道最新
- 开发者放手上路:Agent 全自动修出 0.6.83 版本发布 — jasonkneen · 2026-11-02
- OpenCode 10 月月活涨 28% 至 2200 万,创 3 月以来最大增幅 — ycombinator · 2026-11-02
- 用 Claude 写的等距像素小游戏开源:零依赖单文件软件光栅化 — algo_diver · 2026-11-02
- 重度用户晒月账单:78 亿 token,折合 API 花费约 4800 美元 — bytebot · 2026-11-02
- LLM 自信答错退款期限，开发者用 4 步 RAG 流水线修复 — _jaydeepkarale · 2026-11-02
- 开发者用 three.js 和 Claude 一个周末造出 MetaHuman 开源替代 — majidmanzarpour · 2026-11-02