自由格式偏好学习：用自然语言定义奖励轴破解机器人 RL 难题
chris_j_paxton · x · 2026-09-09
机器人强化学习中最难的环节之一是奖励函数设计：二元的成败标注或轨迹偏好选择信号太稀疏，难以支撑长时程任务。
Marcel Torne 等人提出 freeform preference learning：
- 保留偏好学习「简单标注即可扩展」的优点
- 允许标注者用自然语言定义偏好比较的维度（axis），在两条轨迹间沿该维度做比较
- 比复杂奖励函数易写、比二元偏好信号更丰富
作者与 Michal Cho 等在 RoboPapers 播客中详细介绍了该方法。
「具身」频道最新
- 15 美元的 Sipeed Tang Nano 9K:FPGA 把造芯片门槛打到平民价 — blaizedsouza · 2026-09-09
- 人形机器人革命缺电机：现役仅500-600亿美元,还需2500亿 — stepjamUK · 2026-09-09
- 百度 Apollo Go RT6 无人车多国路测，纯电阵容全球「点名」 — Baidu_Inc · 2026-09-09
- T3CAD 发布：agent 驱动的 KiCad 电子设计全流程工作区 — blaizedsouza · 2026-09-09
- 开源伴侣机器人 Lamp 售 $499,会先看你一眼再开口说话 — dee_hw · 2026-09-09
- Waymo 自动驾驶出租车上线纳什维尔,可直接通过 Lyft 应用叫车 — reed · 2026-09-09