KAIST 提出 SQAM：流策略强化学习微调提速，OGBench 难题成功率最高提升 35 个百分点

kaist-ai · hf · 2026-10-08

KAIST AI 团队发布新方法 Q-learning with Scalar Adjoint Matching（SQAM），用于对流策略（flow policy）进行离线强化学习微调。

问题：微调 flow policy 时，adjoint matching 需要在每个 flow step 对策略做 vector-Jacobian 积分，开销随步数与策略规模增长。
发现：预训练 flow policy 的批平均速度 Jacobian 集中在对角线上，据此可推出闭式标量 adjoint——按 flow time 缩放最终动作处的价值梯度，免去逐步 VJP。
方法：标量 adjoint 加上对策略生成动作处 critic 价值的惩罚项，构成 SQAM。
效果：在 OGBench 最难的四个域上，成功率比各域最强基线高 1835 个百分点；还在真实双臂机器人上微调视觉-语言-动作（VLA）策略，三项任务均优于监督微调。

「具身」频道最新