用 OpenAI Decisions API 做「魔法笔」：手势识别白板开源实现
pvncher · x · 2026-10-14
作者 Francois Laberge 撰文复盘其爆火的手势识别 demo：用 OpenAI Decisions API 搭建手势白板原型，并公开源码。
- 目标：自然手绘后直接得到可编辑对象，反馈要快到不打断作画；
- 自研识别器与 $1 recognizer 效果都不理想；多模态 LLM 宽容但慢；Jev 快但不能吃图像，只能传笔画数据；OpenAI Decisions API 可接收图像且效果很好；
- 原型分四步：识别形状 → 连接形状 → 解释箭头编辑 → 擦除；
- 每次笔画结束后，服务端把笔画点渲染成小图，发给 Decisions 做选择题：线、弧、矩形、圆还是都不是；选项带自然语言描述，允许矩形边歪或留小缺口；
- 请求体发往 POST /v1/decisions，imageUrl 为内联 PNG；
- 基于 tldraw SDK，读者可据此自建智能笔与白板。
「编程与Agent」频道最新
- Burkov 预言应验:厂商正用 git 历史训练修 bug 的编码模型 — burkov · 2026-10-15
- Cohere 研究：一群小模型协作即可达到前沿级软件工程表现 — Cohere_Labs · 2026-10-15
- 12 个 GitHub 仓库让 Claude Code 更懂项目、并行会话、自动开发闭环 — Roger_M_Taylor · 2026-10-15
- Composio 推出 Instant:让 Agent 自己掏钱包按次付费买工具 — mhdfaran · 2026-10-15
- 开源工具 AgentPlay 把 Claude Code 会话变成可回放时间线 — SimplyAnnisa · 2026-10-15
- 一条 Prompt 复现顶级动效：WebGPU 软体碰撞球完整提示词公开 — dreamwieber · 2026-10-15