开发者用 OpenAI Realtime API 语音控制机械臂：仿真实训技能+视觉定位玩井字棋
Tarun122 · reddit · 2026-10-23
Reddit 用户 Tarun122 分享了自己搭建的语音控制机械臂项目：将 OpenAI Realtime API（gpt-realtime-2.1，走 WebRTC）接到自制小型机械臂上，直接对话即可指挥。视频里它和作者玩井字棋、把方块放进碗、捡起喜欢的玩具车并递回方块。
实现要点
- 语音模型只拿到少量工具：look、reach、grab、drop、gripper、park、stop。其中 reach 和 grab 不是手写动作，而是仿真中训练的策略——模型决定「做什么」，训练好的技能决定「怎么做」
- 每轮用户说话时，顶部摄像头和腕部摄像头的最新图像都会注入对话，模型能自己从图像中读出井字棋盘面
- 目标选取由视觉模型在顶视图上对物体打点，再由 reach/grab 策略移动到该点
这是一个「VLM 大脑 + 仿真实训低层技能」的典型 hobby 级具身架构，思路可复现。
「编程与Agent」频道最新
- 清华 THU-KEG 发布 RIDAR：自动检测并干预科研智能体造假行为 — THU-KEG · 2026-10-23
- 一个尾点破防 Copilot:VS 与 SSMS 修复 RCE 漏洞 CVE-2026-103572 — wunderwuzzi23 · 2026-10-23
- 安全专家建议：软件包只装发布超 24 小时的，系统更新则立即打 — altryne · 2026-10-23
- 同一份 LoRA 微调 Qwen3.5 全系：9B 反超 27B，收益几乎全靠学会说「无关系」 — spilldahill · 2026-10-23
- 200 个并发 LLM agent 跑在 1GB 内存、$6/月的 VM 上：瓶颈是自家的保存锁 — swarmagent · 2026-10-23
- 给 AI 配手机：机架+机械臂方案帮 Agent 绕开 App 风控 — TinfoilTricorn · 2026-10-23