Learning Options for Compositional Motor Control with Adapter Banks
Sreejan Kumar, Marcelo Mattar, Lea Duncker
cs.LG, cs.RO, q-bio.NC
2026-09-15
共享LSTM加离散adapter从复合示范里学运动原语，adapter自发降到约5维；拼一条从未见过的两瓣轨迹，手部误差0.005，对照教师约0.04。
运动技能的标志是有限个原语能被重新拼接。强化学习里这是 options：底层小策略加高层选择。难处是学出来的 option 经常缠在一起，换个新序列就要重训，旧技能还互相干扰。
神经科学一侧有个结构假设：运动皮层是共享 RNN，丘脑通路给它加低秩扰动，基底神经节负责选哪一路。Logiaco 等人把这个结构写清楚了，但没说怎么从示范里端到端学出来。Columbia 和 NYU 把这个回路翻成可训练的 Adapter Bank。
任务来自 Lazzari 和 Saxena 的闭环生物力学臂：两连杆、六块肌肉，直线伸手、顺逆时针圆弧、正弦，半程和全程一共十种条件。教师网络每步吃 one-hot 规则输入。学生只在五种复合轨迹上训练，从不看半程原语，分解必须自己长出来。
学生叫 CABRA。编码器读教师轨迹（观测和肌肉指令，不含规则输入），用 CompILE 把轨迹切成两段，每段在 10 个离散码上输出分布，边界用低温 Gumbel-softmax。码被硬掩码成两半：z0 到 z4 留给伸展，z5 到 z9 留给回收，这是唯一写死的结构先验。解码器和编码器共享 LSTM 核心（宽 256），但解码前向时循环权重断开梯度，闭环手部 L1 只更新 adapter、肌肉读出和输入投影。每个 adapter 是两层残差，H 到 H，不设秩约束。
损失是对手部轨迹的 L1，加上边界和码的 KL，以及 DIAYN 判别器和肌肉兴奋 L1 两个辅助项。辅助项消融后，架构相对教师的迁移优势仍在。
五种复合动作上手部 L1 大约是 10⁻² 米量级，伸手几乎贴住专家，8 字有闭环晃动但形状在。强迫码扫描显示伸展码一对一：Reach 用 z2，顺时针圆用 z0，逆时针圆用 z3，8 字用 z1，反向 8 字用 z4；用错伸展码误差明显上升。回收码部分共享：Reach 和顺时针圆都用 z5，其余用 z7。
几何上，核心隐状态有效秩约 30（总共 256 维）；单个 adapter 扰动秩约 5 到 6；十个 adapter 并起来约 28，几乎铺满核心流形。低秩是学出来的，不是架构写死的。
教师各任务主空间重叠均值 0.69，学生 0.18。DSA 距离教师 0.12，学生 0.25，而且按旋转方向组织：同向旋转近（顺时针圆对反向 8 字为 0.05），反向旋转远（两个圆为 0.44）。
冻结网络、只优化 10 维软策略去拟合一条训练里没出现过的两瓣轨迹：学生 L1 为 0.005，教师约 0.04，差一个量级。更难的蝴蝶轨迹上学生约 0.011、教师约 0.058，大约 5 倍。硬离散选择时学生 0.018、教师 0.040，最佳 0.014 对 0.036，仍有 2.5 倍。去掉 DIAYN 和兴奋匹配，两瓣仍是 0.0056 和 0.0072，低于教师的 0.04。
给「共享骨干加离散 adapter」一个运动控制上的实证：不设秩也能学出低秩扰动，任务被拆进几乎不相交的子空间，高层只要重组已有码就能走新轨迹。和 LLM 里的 LoRA 库是同一类结构，这里是从示范端到端长出来的，不是先训再贴。
实验是一只可微的两连杆臂、五种复合动作。这是机制研究，还不能当通用机器人技能库。
编码器的任务身份监督会塑造码的组织。伸展一对一、回收部分共享，可能是这条监督的产物。作者也说，完全无监督、可变数量的码，组织可能完全不同。段数写死为 2，伸展和回收的码池是硬切的。教师训练包含半程动作，学生没有，对比略不对称。OOD 实验里高层策略是冻结网络后做梯度下降，不是训练时一起学出来的层次策略。主结果没有报告多种子方差。