Flexible Language-Guided Representation Editing for Adaptive Robot Behavior
Audrey Lee, Nathaniel Dennler, Ilia Sucholutsky, Andreea Bobu
CoRL 2026)
cs.RO
2026-10-21
FLEX 用增加、泛化、屏蔽改机器人任务特征。七组导航错位的归一化奖励最低 0.91,12 人里意图理解显著优于只加特征的 ALGAE(p=0.006)。
端咖啡时,示教能画出绕开笔记本的轨迹,却说不清该躲这一台还是所有电子产品,木碗管不管。轨迹只记怎么走。人在乎的特征是可度量的环境属性,例如离电子产品多远。特征猜错,权重再准,行为也对不上。
奖励是特征的线性组合 R(τ) = θ⊤Φ(τ)。权重 θ 可用示教和最大熵逆强化学习估计;特征 Φ 传统上得部署前写死。现有编辑几乎只会往 Φ 里加。连改几轮,该收成类别的仍钉死在单个物体,干扰物也删不掉。错位有三种:缺特征、抽象错层、跟踪无关量。只会加,后两种落空。
FLEX(Flexible Feature Editing Pipeline,灵活特征编辑管线)用自然语言纠错改 Φ,用示教改 θ。每一轮机器人按当前 Φ 和 θ 走出轨迹,人针对差别打一段话。语言模型固定为 GPT-4o,只改特征集合,不动权重。纠错被假定只谈哪些特征重要、不谈权重大小,「再离笔记本远一点」里的程度信息会丢掉。
三步固定为增加、泛化、屏蔽,后一步看着前一步的结果。
Φ 更新后用示教重估 θ,再规划。三步拆开,是因为同一次纠错可以同时补上、放宽和删掉特征。
指标是归一化奖励:轨迹奖励线性映射到 0(最差轨迹)和 1(真实奖励下的最优轨迹)。起点、终点、物体位置各随机 5 个种子。
2D 导航为 9×9 网格。厨房躲炉子和水壶,冰箱是干扰物;熔岩地躲沼泽和熔岩,草地是干扰物。七列覆盖单一错位、两两组合和三种全有。对照:ALGAE 只加特征;MFE 从穷举特征表出发再屏蔽;USF 不拆步骤,读入纠错和示教后一次生成整份新 Φ。
| 方法 | 只增加 | 只泛化 | 只屏蔽 | 增加+泛化 | 增加+屏蔽 | 屏蔽+泛化 | 三种都要 |
| ALGAE | 1.00±0.00 | 0.59±0.02 | 0.95±0.03 | 0.77±0.02 | 0.59±0.02 | 0.63±0.02 | 0.69±0.03 |
| MFE | 0.95±0.01 | 0.70±0.02 | 1.00±0.00 | 0.75±0.02 | 0.43±0.01 | 0.67±0.02 | 0.83±0.02 |
| USF | 0.64±0.06 | 0.72±0.03 | 0.90±0.02 | 0.80±0.01 | 0.99±0.01 | 0.78±0.04 | 0.78±0.03 |
| FLEX | 1.00±0.00 | 0.91±0.03 | 1.00±0.00 | 1.00±0.00 | 1.00±0.00 | 1.00±0.01 | 0.99±0.01 |
ALGAE 在「只增加」上为 1.00,遇到泛化掉到 0.59,三种错位叠合为 0.69。MFE 在「只屏蔽」上为 1.00,「增加+屏蔽」掉到 0.43。USF 在「只增加」上只有 0.64,在「增加+屏蔽」上又到 0.99。FLEX 七列最低为只泛化的 0.91±0.03,其余在 0.99 到 1.00。
7 自由度 Franka 桌面臂做五轮叠加纠错:端咖啡躲开电子产品(木碗为干扰)、端蜡烛躲开易燃物、端保龄球躲开易碎品。物体逐轮更换,Φ 沿用上一轮。正文没有逐点数字。图上 FLEX 一两轮后贴近真实奖励并保持;基线更慢,杂特征变多、旧特征不会重新抽象,曲线随后下滑。
真人实验为校内 12 人,男女各 6,其中 5 人几乎没用过机器人。被试内比较 FLEX、ALGAE、MFE,各配一条任务,顺序平衡。每人五轮打字,把行为拧向事先规定的偏好,并能看到目标轨迹。交互在仿真里进行,因为部分基线动作失常。语句再配专家在实体 Franka 上的示教,离线重学奖励。图上 FLEX 稳住,基线随轮次变差,逐点值未给出。李克特 1–7 分、Holm 校正后的成对 Wilcoxon 检验:FLEX 高于 ALGAE 的任务表现(p=0.035)、意图理解(p=0.006)和抗意外后果(p=0.047),高于 MFE 的意图理解(p=0.031);相对 MFE 的抗意外后果只有 p=0.074。易用性和协作感最高,差异不显著。均值未列表。
部署时示教少,在线奖励学习得把假设压进少数特征。FLEX 用几句话修订这份清单,不再只靠专家预写或一味追加。特征由模型生成代码来计算,权重仍走最大熵逆强化学习,规划器不用换。
改进是渐进的。只缺一个特征时 ALGAE 已到 1.00。五轮换物体还得放宽笔记本、删掉木碗,否则 Φ 膨胀并过拟合。能用的前提是物体有文本属性、偏好接近常识、动作为刚体准静态操作。
自述的边界有四条。动态任务和可变形物体,相关特征未必能用语言说清。常识先验罩得住共享偏好,罩不住反常识或个人癖好。一句话同时改 Φ 和 θ 时,权重被假定无关而丢掉。用户闭环做在仿真里,真机只做了离线核对。
实验更窄。12 人对齐规定偏好,且看得到目标轨迹,测的是把看见的差别说出来。实体结果用专家示教配被试语句,噪声不同源。MFE 从穷举表起跑,信息更多,「只屏蔽」的 1.00 不好直接比。只测了 GPT-4o,代码执行成功率没报。Franka 和真人曲线没有逐点数字。