用世界模型隐空间散度做驾驶模仿学习，研究者热议奖励设计

BrantonDeMoss · x · 2026-10-24

Waymax/自博弈驾驶研究圈的一场技术讨论：有人问为何不用显式奖励函数训练自动驾驶，Yassine 回应称碰撞和偏离车道等基本规则远不足以描述「好驾驶」——还需处理红绿灯、进出口等大量行为，目前只能依靠对未来自车状态的「目标」建模。

Branton DeMoss 提出一个思路：在世界模型的隐空间里，对专家轨迹的隐状态施加散度度量，即可把模仿学习转化为 on-policy RL 问题。他引用了自己的论文 DITTO（arXiv:2302.03086）：先在全部轨迹数据上训练世界模型，再从专家起点展开智能体，惩罚其多步隐空间与专家数据的散度，用标准 RL 算法优化即可可证明地诱导出模仿学习，在 Atari 像素环境上达到 SOTA 性能与样本效率，且无需在线环境交互。