只改65行词嵌入,GPT-6 Astra让机器人「换种说法就失败」成功率74%→88%

机器之心 · wechat · 2026-11-13

论文《Can LLMs Debug Robots by Editing Their Weights?》(Jusheng Zhang、Keze Wang、Liang Lin)验证了一个新思路:把LLM放在调试器的位置,直接检查并修改机器人VLA策略的权重,修复「指令换种说法就失败」的词汇理解问题。

做法:基于OpenPI的π₀.₅ LIBERO检查点,让GPT-6 Astra在保留状态的Python工作区里查看张量、写入替换值,再借仿真反馈筛选候选;无梯度更新、无新增示范数据
修改在哪:最终保留的65行修改集中在词嵌入表,共改变132,768个参数值(占检查点0.00367%),如cooking→75% stove向量、cooker→stove、fermented→wine
结果:三次独立编辑搜索中最好的C,在765条留出指令上成功率86.3%→92.0%(p=1.31×10⁻¹⁰);含被改词元的335条指令成功率74.3%→87.5%,不含的430条逐回合成败不变——收益高度局部化
对照:随机方向扰动无提升,完整替换目标嵌入可达90.5%,说明找对词元映射本身是修复关键
诚实边界:公开全部16次实验记录,12/13次搜索放弃候选;失败恢复任务一次修改让内部信号变好但任务成功率反而下降,最终撤回;另发现指令末尾加元数据后缀会让另一检查点成功率70%→48.6%
论文、代码、65行稀疏修改与逐回合证据均已开源,真机验证进行中

「具身」频道最新