开源 typesafe-computer-use:本地 OCR 混合方案,单步成本降至 Claude 的 1/155
thisguyknowsai · x · 2026-10-10
开发者开源了 typesafe-computer-use 项目，一个不把屏幕截图发给大模型的 computer use 方案。
常规 computer use agent 每一步都要把完整截图发给前沿模型、等约 5 秒拿到规划。该项目改用确定性流水线：
- 用 OCR 在本地确定性读取屏幕内容，把候选动作列表交给一个小分类器，只问「下一步做什么」这一个选择题
- 仅当文本框确实需要自由输入时，才唤醒一个写作模型
- 每次点击附带校准过的置信度分数，低于阈值可设门槛人工接管
作者给出的数据相当夸张：
- 单步决策 $0.0002 vs Claude Opus 的 $0.032，便宜 155 倍
- 12 步任务 $0.003 vs $0.40–0.90，最多便宜 300 倍
- 模型延迟 0.13–0.38 秒 vs 5.2 秒，最多快 40 倍
核心思路是：大多数操作步骤需要的不是完整规划，而是从一个短列表里快速、便宜地做出一次选择。
「编程与Agent」频道最新
- 开源 Lead Signal Listener:跨平台监听抱怨帖挖潜客 — yangyi · 2026-10-10
- Unsloth 新玩法:2 分钟在 DGX Spark 上把 Qwen 微调成决策模型 — danielhanchen · 2026-10-10
- 博导带学生练出的上下文切换术,正是管理 AI agent 的核心技能 — Michael_J_Black · 2026-10-10
- Matt Pocock 开源技能包 28 万星:让 Claude 先问清再动手 — alex_verem · 2026-10-10
- Charakuru:一张立绘变 VRM 分身,Codex 代你操作 Blender — lxfater · 2026-10-10
- 多 harness RL 指南爆火：LFM2.5 从 42% 提到 54%，工具调用省 31% — SergioPaniego · 2026-10-10