只加特征遇泛化掉到0.59,FLEX七组最低0.91

Flexible Language-Guided Representation Editing for Adaptive Robot Behavior

Audrey Lee, Nathaniel Dennler, Ilia Sucholutsky, Andreea Bobu

CoRL 2026)

cs.RO

2026-10-21

FLEX 用增加、泛化、屏蔽改机器人任务特征。七组导航错位的归一化奖励最低 0.91,12 人里意图理解显著优于只加特征的 ALGAE(p=0.006)。

这篇在解决什么

端咖啡时,示教能画出绕开笔记本的轨迹,却说不清该躲这一台还是所有电子产品,木碗管不管。轨迹只记怎么走。人在乎的特征是可度量的环境属性,例如离电子产品多远。特征猜错,权重再准,行为也对不上。

奖励是特征的线性组合 R(τ) = θ⊤Φ(τ)。权重 θ 可用示教和最大熵逆强化学习估计;特征 Φ 传统上得部署前写死。现有编辑几乎只会往 Φ 里加。连改几轮,该收成类别的仍钉死在单个物体,干扰物也删不掉。错位有三种:缺特征、抽象错层、跟踪无关量。只会加,后两种落空。

方法

FLEX(Flexible Feature Editing Pipeline,灵活特征编辑管线)用自然语言纠错改 Φ,用示教改 θ。每一轮机器人按当前 Φ 和 θ 走出轨迹,人针对差别打一段话。语言模型固定为 GPT-4o,只改特征集合,不动权重。纠错被假定只谈哪些特征重要、不谈权重大小,「再离笔记本远一点」里的程度信息会丢掉。

三步固定为增加、泛化、屏蔽,后一步看着前一步的结果。

Φ 更新后用示教重估 θ,再规划。三步拆开,是因为同一次纠错可以同时补上、放宽和删掉特征。

结果

指标是归一化奖励:轨迹奖励线性映射到 0(最差轨迹)和 1(真实奖励下的最优轨迹)。起点、终点、物体位置各随机 5 个种子。

2D 导航为 9×9 网格。厨房躲炉子和水壶,冰箱是干扰物;熔岩地躲沼泽和熔岩,草地是干扰物。七列覆盖单一错位、两两组合和三种全有。对照:ALGAE 只加特征;MFE 从穷举特征表出发再屏蔽;USF 不拆步骤,读入纠错和示教后一次生成整份新 Φ。

方法只增加只泛化只屏蔽增加+泛化增加+屏蔽屏蔽+泛化三种都要
ALGAE1.00±0.000.59±0.020.95±0.030.77±0.020.59±0.020.63±0.020.69±0.03
MFE0.95±0.010.70±0.021.00±0.000.75±0.020.43±0.010.67±0.020.83±0.02
USF0.64±0.060.72±0.030.90±0.020.80±0.010.99±0.010.78±0.040.78±0.03
FLEX1.00±0.000.91±0.031.00±0.001.00±0.001.00±0.001.00±0.010.99±0.01

ALGAE 在「只增加」上为 1.00,遇到泛化掉到 0.59,三种错位叠合为 0.69。MFE 在「只屏蔽」上为 1.00,「增加+屏蔽」掉到 0.43。USF 在「只增加」上只有 0.64,在「增加+屏蔽」上又到 0.99。FLEX 七列最低为只泛化的 0.91±0.03,其余在 0.99 到 1.00。

7 自由度 Franka 桌面臂做五轮叠加纠错:端咖啡躲开电子产品(木碗为干扰)、端蜡烛躲开易燃物、端保龄球躲开易碎品。物体逐轮更换,Φ 沿用上一轮。正文没有逐点数字。图上 FLEX 一两轮后贴近真实奖励并保持;基线更慢,杂特征变多、旧特征不会重新抽象,曲线随后下滑。

真人实验为校内 12 人,男女各 6,其中 5 人几乎没用过机器人。被试内比较 FLEX、ALGAE、MFE,各配一条任务,顺序平衡。每人五轮打字,把行为拧向事先规定的偏好,并能看到目标轨迹。交互在仿真里进行,因为部分基线动作失常。语句再配专家在实体 Franka 上的示教,离线重学奖励。图上 FLEX 稳住,基线随轮次变差,逐点值未给出。李克特 1–7 分、Holm 校正后的成对 Wilcoxon 检验:FLEX 高于 ALGAE 的任务表现(p=0.035)、意图理解(p=0.006)和抗意外后果(p=0.047),高于 MFE 的意图理解(p=0.031);相对 MFE 的抗意外后果只有 p=0.074。易用性和协作感最高,差异不显著。均值未列表。

为什么重要

部署时示教少,在线奖励学习得把假设压进少数特征。FLEX 用几句话修订这份清单,不再只靠专家预写或一味追加。特征由模型生成代码来计算,权重仍走最大熵逆强化学习,规划器不用换。

改进是渐进的。只缺一个特征时 ALGAE 已到 1.00。五轮换物体还得放宽笔记本、删掉木碗,否则 Φ 膨胀并过拟合。能用的前提是物体有文本属性、偏好接近常识、动作为刚体准静态操作。

局限与存疑

自述的边界有四条。动态任务和可变形物体,相关特征未必能用语言说清。常识先验罩得住共享偏好,罩不住反常识或个人癖好。一句话同时改 Φ 和 θ 时,权重被假定无关而丢掉。用户闭环做在仿真里,真机只做了离线核对。

实验更窄。12 人对齐规定偏好,且看得到目标轨迹,测的是把看见的差别说出来。实体结果用专家示教配被试语句,噪声不同源。MFE 从穷举表起跑,信息更多,「只屏蔽」的 1.00 不好直接比。只测了 GPT-4o,代码执行成功率没报。Franka 和真人曲线没有逐点数字。

术语

原文与代码

社区讨论

相关论文

全部论文解读