UT Austin 提出 Horizon-Scalable Q-Learning 改善长时程离线价值学习

UTEXAS · hf · 2026-11-10

UT Austin 团队（Haoran Xu、Amy Zhang 等）发布 Horizon-Scalable Q-Learning（HQL）论文。离线数据集中学习准确的 off-policy Q 函数随任务时程增长而变难：一步 TD 每步 bootstrap 导致误差沿时程累积，早期状态即使 TD loss 很小也可能严重估值错误；多步 TD 缩短链条，但因行为策略次优，每步引入偏差，且没有固定步数适合整条轨迹。

HQL 的做法：只有当 critic 对数据集动作的估值不低于行为克隆策略 best-of-N 动作时，才沿该动作扩展目标，从而自动平衡一步与多步回报，改善长时程 off-policy 价值学习。