Sentdex 用 LLM+机器人框架让机械臂首次尝试即抓到玩具
Sentdex · x · 2026-11-22
知名 AI 教程作者 Sentdex 展示其机器人框架(robotics harness)的最新进展:LLM 只被告知「在地上找一个儿童玩具并放进黑色箱子」,机器人在从未见过的玩具上第一次尝试就完成了任务,且右上角的可视化能实时看到机器人的「思考」过程。
要点:
- 任务描述可任意泛化:任意物体、任意箱子、任意房间、任意光照(只要视觉模型能看到)。
- 作者多年做 RL/VLA/仿真器经验后判断:sim2real 仅相机数据就极难,边缘情况太多;他越来越倾向用「LLM + 机器人 harness」处理复杂真实世界交互任务——类比 agentic coding harness,只是用于机器人。
- 视频结尾 WiFi 断连导致循环崩溃,框架自我修正并从中断处继续执行。
- 作者同时指出:步态等物理学习仍需要高可扩展的仿真器。
所属事件:Sentdex 展示 LLM 全栈控制机器人完成自主寻找收纳任务(3 条相关)→
「编程与Agent」频道最新
- 开发者用 Gemini 4 Neon 造 2.5D 游戏,精灵图工具用户破 3800 — chongdashu · 2026-11-22
- 只读 Kubernetes MCP 服务器 k8s-mcp-assistant 发布 — modelcontextprotocol · 2026-11-22
- 机器支付成防火墙:开发者热议用智能合约解决 AI 互信交易 — jeff_weinstein · 2026-11-22
- AWS Marketplace 接入 x402:Agent 按请求付费直接进 AWS 账单 — MurrLincoln · 2026-11-22
- Bindu Reddy 实测:模型中等强度仍不及 Opus,Neon 高档接近但更慢 — bindureddy · 2026-11-22
- Notion 发布万字团队 AI 使用手册:租智能、 Own 上下文、建 agent 工厂 — ivanhzhao · 2026-11-22