机器人 RL 有多难:一次实操复盘列出 KL 项、sim2real、NaN 十余个坑
Scobleizer · x · 2026-09-19
一位机器人 RL 实践者复盘:模式匹配远远不够,真实训练中处处是坑——
- 训练指标先涨 2% 再崩到 100% 失败,原因可能是 KL 项相对学习率太低、critic 梯度过高
- 物理引擎不够准导致抓取失败;触觉传感器产生 NaN;所有传感器让训练极慢
- sim 频率远高于真实输入,sim2real 是否成立存疑;策略干脆不动,熵被设为 0 后因简单奖励错误「什么都不做最划算」,还保持了 3 天才发现
- 还有物理仿真 fp32 vs fp64 的回放误差,以及 AI 助手(Astra)给出的错误答案浪费了数天
一条对想做机器人 RL 的人非常有信息量的踩坑清单。
「具身」频道最新
- 萝卜快跑香港东涌两周公众试乘收官，百度自动驾驶出海再进一步 — Baidu_Inc · 2026-11-04
- imec 神经探针直接在 130nm CMOS 上做后端光子集成 — jwt0625 · 2026-11-04
- Chris Paxton：交互式机器人仿真是未来，但数据瓶颈明显 — Scobleizer · 2026-11-04
- KAIST 提出 DreamX:视频扩散模型成为通用潜在动作学习器 — kaist-ai · 2026-11-04
- KAIST RoboTryOn:把人类演示视频「试穿」成机器人视频,成功率 2%→60% — kaist-ai · 2026-11-04
- INMO 新款 AI 眼镜亮相:125g 双 1080p 屏,早鸟价 799 美元 — Scobleizer · 2026-11-04