TipTour 开源:本地模型驱动指针,90ms 完成 Mac 计算机操作
alexcovo_eth · x · 2026-09-19
milindlabs 开源了 macOS 菜单栏 AI 指针伴侣 TipTour（GitHub 已 500+ star），主打不截图、不走 LLM 的超快 computer use。
- 本地 CoreML 运行 OmniParser 分割屏幕上所有按钮与 UI 元素，端侧 OCR 读取标签，只把文字喂给模型
- 模型返回每个元素的概率并选出最该点的那个，点击后重跑检测循环决策，直到任务完成
- 每次决策约 90ms，比作者试过的任何 LLM computer use 都快，且无像素离开本机
- 支持自带 API key（存 macOS 钥匙串），Ctrl+K 输入任务，Gemini realtime 模式可语音对话屏幕
「编程与Agent」频道最新
- miro-mcp-server:让AI助手直接操控Miro白板 — modelcontextprotocol · 2026-09-19
- 小模型不总省钱:隐藏的复核与纠错成本反噬业务 — zeuslac · 2026-09-19
- Awwwards-mcp:把获奖网站变成agent可读的设计参考库 — _insane7 · 2026-09-19
- Karada.ai:OpenAPI一键编译Go版MCP服务器 — shashtag_work · 2026-09-19
- 作者实测 287 个 Jev 开源项目，精选 20 个看清小模型真正用武之地 — chenrongwei · 2026-09-19
- 视频教程：从一个 API 封装器逐步演进到多智能体系统 — watermelonson · 2026-09-19