QSO 新方法直击 HRL 痛点:保留控制信息又支持经验聚合

j_foerst · x · 2026-10-27

转发介绍分层强化学习(HRL)新方法 QSO。作者指出 HRL 的理论承诺与实践脱节:理论上分层策略应同时促进 credit assignment 与可迁移性,但现有 HRL 算法要么丢弃控制所需的信急,要么保留不必要的信息,限制了经验聚合学习。

配图展示迷宫环境的可视化对比:HIQL、OPAL、SHARSA/DSHARSA/ASO 与 QSO 四类方法学到的 option 在 PCA 空间的分布及 option 间距离矩阵。QSO 的 option 按动作方向(上/下/左/右/原地抖动)聚成清晰的簇,白化 option 距离矩阵呈现规整的块状结构,而基线方法的 option 分布混杂、区分度弱,直观展示 QSO 在 option 结构学习上的优势。