Richard Sutton 推荐:新博士论文让机器人部署后边用边学

RichardSSutton · x · 2026-10-04

强化学习泰斗 Richard Sutton 推荐 Gautham Vasan 的新博士论文《Robots That Learn on the Fly Through Real-World Interaction》,并称自己是答辩委员会成员,尤其推荐第 6 章的 AVG 算法——一种新的流式(streaming)RL actor-critic 方法,不同于 Stream-X 系列算法。

论文针对机器人学习的主流做法缺陷:策略通常在部署前用人类数据或仿真训练后即冻结,部署后性能退化需工程师重新诊断、采数、重训。论文目标是让机器人从运行时自身经验持续学习,在寿命期内改进行为并适应未预见的条件。