Freeform Preference Learning:用自然语言自定义机器人奖励对比轴

micoolcho · x · 2026-10-24

机器人强化学习中最难的环节之一是定义奖励函数：进度类指标往往模糊难估，导致大多数机器人学习退化为稀疏奖励或简单偏好学习。传统偏好学习让人类标注者在两条轨迹中二选一，虽然简单但会丢失复杂任务中的大量信号，学习效率低下。

Marcel Torne、Anubha Mahajan 与 Abhijnya Bhat 在 RoboPapers 节目中介绍了他们的解法 Freeform Preference Learning：允许标注者用自然语言自定义对比轴（axes）来比较轨迹，从而在偏好标注中保留更多结构化信号。论文作者在节目中讨论了方法细节与动机。