Agent Priors-guided Policy Learning
Puming Jiang, Tianrun Hu, Haozhe Du, Yibo Li, Zhiwei Xue, Xinhu Li, Harold Soh
cs.RO
2026-09-29
让塑造技能泛化的结构先验同时充当运行时接口:2 条演示 OOD 成功率 89.6%,藏起接口文档后偏移场景从 50% 掉到 20%。
机器人从少量演示里学技能,部署时面对的是新目标、熟悉的操作换了顺序、物体挪了位置。这要求两种泛化同时成立:组合泛化把学到的技能重新拼成新任务,技能泛化让每个技能策略在没见过的状态下照常执行。两者互相咬合:任务层调度得知道每个技能物理上能做到哪,技能得扛得住任务层把它放进去的新状态。
接口是信息漏掉的地方。技能在哪儿能用由它训练时的结构决定,组合层看到的却只有一个名字、一条指令或一个符号算子。VLA 模型把语义和底层控制塞进一个网络,泛化条件是隐式的,对布局变化依然敏感;TAMP 用符号前提与效果连接两层,靠手写或从数据里学;把策略当工具调用的 LLM agent 只知道技能叫什么,不知道它在什么物理条件下真的能用,技能交接是公认失败点。最接近的 SymSkill 让谓词、算子、技能从演示里共同产生,但结构被预先限定在相对坐标系谓词和动力系统控制器一族里。
APPL(Agent Priors-guided Policy Learning,新加坡国立大学)把「结构先验」同时用在两处。结构先验说的是一个行为依赖什么,比如抓取只依赖夹爪相对物体的位姿。训练时把它实现进策略的表征、动作参数化或辅助损失,它决定策略往哪儿泛化;再用语言写出来,连同训练支撑、交接条件、验证证据一起作为接口文档,运行时 agent 读文档判断策略能用在哪。
关键设计:策略结构从固定的工程决策变成按技能提出的假设,同一技能留多个不同先验的实现,归纳偏置不同、适用场合不同,选择权交给运行时。
实验一在 MetaWorld 六个任务上单独测技能泛化,OOD 把因子重组(C)与外推(E)平均:
| 方法 | 2 条演示 OOD | 20 条演示 OOD | 四档均值 |
| Diffusion Policy(B0) | 28.96% | 46.67% | 37.86% |
| 固定关系先验(B1) | 37.92% | 56.25% | 47.29% |
| APPL 首个提案(q1) | 56.04% | 78.75% | 67.92% |
| APPL(q4,含反馈轮) | 89.58% | 93.13% | 92.40% |
2 条演示时 89.58%,对固定先验的 37.92%。N=20 时所有方法 IID 都是 100%,外推态上 B0 只剩 25.42%、q4 有 88.33%,增益来自泛化而非拟合。首个提案已比 B1 高 1822 个点,三个候选做选择再加 1024 个点,反馈轮再加 2.912.1 个点;反馈也会帮倒忙,door 任务 N=20 从 100% 掉到 96.25%。
实验二在 ManiSkill 五个长程任务上测覆盖加选择,每个任务 12 条演示(全任务策略没有目标输入,只参加偏移列比较):
| 方法 | 物体偏移(M) | 任务级变体(T) | 未见组合 |
| 全任务 Diffusion Policy | 10.0% | – | – |
| 全任务+单个 LLM 先验 | 10.0% | – | – |
| Agent+VLA(微调 π0.5) | 32.5% | 70.0% | 6/16 |
| APPL | 50.0% | 92.5% | 8/16 |
| APPL 藏掉全部接口信息 | 20.0% | 65.0% | 2/16 |
| APPL 换固定规则调度 | 22.5% | 52.5% | 1/16 |
消融一行是全文的论证支点。策略库原封不动,只把接口文档藏起来:偏移场景从 50.0% 掉到 20.0%,未见组合从 8/16 掉到 2/16。只恢复验证分数和出口条件就回到 45.0%,偏移场景的大头收益来自验证证据;先验、交接、支撑描述的增益集中在任务级变体(72.5% 升到 92.5%)。案例一则:归还策略的交接笔记写的是「空容器」,先验却声明策略不依赖粒子状态,agent 据此推断满容器也能归还,两次调用完成任务。
对做具身技能库的人,可迁移的论点就一条:训练时用掉的结构假设,别在训练完就扔,它们是现成的接口信息。数字给这个可见性定了价:同一套冻结策略,调度者看得到接口与否,偏移场景成功率差 30 个点。跟 SymSkill 比,先验族不再被预限定;跟同 agent 调度的微调 π0.5 比,少演示强偏移场景下 50.0% 对 32.5% 更稳。
边界也要说清:两套实验都在仿真,策略吃的是结构化状态向量而非图像(实验一的策略不看图,设计时的 agent 可以看演示图片),离真机还有距离。这是已知路线上的渐进改进,贡献在接口这个角度,骨干就是标准 Diffusion Policy。
作者自列的:结构先验描述的是预期泛化,不保证能力,策略在演示支撑外照样可能失败;演示里没有恢复轨迹,物体掉了就捡不回来;验证只从演示入口状态做,偏移下会排错序,covered peg assembly 上验证报告压低了实际可用的策略,该任务从 8/8 掉到 1/8,抵消了其他四个任务的增益。
读下来另有几处要留意。q4 对 q3 混入了新增候选和开发集选择,反馈本身的贡献没被隔离,附录里承认了。演示由脚本专家生成,无失败无恢复,真实遥操作数据会更脏。实验一的六个任务在研究之前就开发过,存在筛选痕迹。运行时依赖 GPT-5.6 Sol(extra-high effort),每回合最多 128 次请求,复现声明直说重跑 LLM agent 会得到不同的设计;这套运行时的成本与延迟,论文没报。