清华 NeurIPS 论文：一阶动作监督让小样本强化学习大涨分
量子位 · wechat · 2026-10-10
清华大学 AIR 的 NeurIPS 2026 工作「Higher-Order Action Supervision Makes A Strong Policy Class」指出：机器人抖动、自动驾驶过度反应的根源常在相邻动作的突变，而现有策略学习只监督单点动作。作者在不改策略网络的前提下，增加一项一阶动作约束：让策略沿状态轨迹的方向导数拟合数据中的动作差 a′−a。
这一思想统一覆盖确定性（TD3+BC）、高斯随机（用 OU 过程刻画扰动时序相关性）和流匹配三类策略，并借助连续时间 HJB 框架把一阶信息注入价值学习——在 Bellman 残差外增加状态/动作梯度方向的对齐项，改造了 TD3+BC、ReBRAC、IQL、IFQL 四种算法。
实验在 OGBench 50 个任务与 D4RL 10k 小数据上进行：困难任务提升显著，如 ReBRAC 在 antmaze-giant-navigate 从 26 升到 61；小样本 D4RL 中 TD3+BC 在 walker2d-expert 从 2.7 升到 82.3，纯行为克隆下 Walker2d-expert 从 26.7 升到 91.1。学习曲线与 rollout 分析显示动作变化分布更集中，输出更平滑。结论：连续轨迹的局部变化信息在样本稀缺时尤其有价值，即插即用。
「具身」频道最新
- Sergey Levine：机器人正重演 LLM 的提示词革命 — adityaag · 2026-10-23
- Sergey Levine 访谈全文：机器人正重演 LLM 的范式转变 — adityaag · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- 人行道上的配送机器人实拍,自己走完送货最后一公里 — HomeNowWTF · 2026-10-23
- 用 ESP32 小屏给 Claude Code 做 status 卡片，Go 本地检测状态 — tonylook · 2026-10-23
- Dream Labs 出 stealth:双手机器人基座模型 Dream-1,时租仅 3 美元 — scott_e_reed · 2026-10-23