A note on goal-based hierarchical RL
Kevin Murphy
cs.AI
2026-09-13
这篇短文把 ACGVF 的自选目标和结束位接到内部信念策略上，用 2001 年 HHMM 写成两层控制器，并分清分段价值 Vg 与带续值的持续价值 Wg。
层级强化学习一直有两套几乎不碰面的语言。一套把目标当成任务的一部分：环境或设计师指定 G，智能体只选动作。Nangue Tasse 等人 2026 年的 ACGVF（agent-centric general value function）把目标 Gt 和结束位 Dt 也交给智能体，让它们为环境奖励服务。它默认世界完全可观测，策略直接写在状态 s 上。另一套是 Murphy 2025 的通用智能体：策略 π(a|z,g) 作用在内部信念 z 上，z 每步用观察更新，但 g 仍是外部输入。
两边各缺一块。ACGVF 有自主选目标和喊停，没有信息状态；信念智能体有记忆，目标不会自己换。这篇短文用 Murphy 和 Paskin 2001 年的层级隐马尔可夫模型（HHMM）把两块接上。没有新实验，是一份把 call-return 语义写清楚的理论笔记。
内部状态拆成两个时间尺度。目标 Gt 分段恒定；目标内状态 Zt 每来一次观察就更新。结束位 Dt 是两者的边界：Dt=0 时目标原样复制；Dt=1 时上层策略 μη 根据最新 Z 选新目标。这比每步重新采样一个目标标签更强，目标获得时间上的坚持，行为上接近 Sutton 的 option。
联合分布按这一拍子因式分解：先由 (Zt, Gt) 出 (At, Dt)，环境给出下一观察和奖励，再更新 Z，最后才更新 G。三个可学件是目标条件策略 πθ(a,d|z,g)、状态更新 qϕ（可以是确定的循环映射，也可以是滤波分布）、以及只在边界上激活的选目标策略 μη。
相对经典 HHMM 有一处改动。Fine 等人 1998 年的原版在进入新高层状态时会把子状态从先验重采样。智能体不该一换目标就忘掉对世界的信念，所以 Zt+1 始终依赖 Zt。目标在 Z 更新之后再选，竖直箭头和原 HHMM 图是反的。角色也反了：这里的 HHMM 是观察条件下的动作生成器，不是动作条件下的观察生成器。
部分可观测时，目标是否达成不能再写成对不可见转移 (s,a,s') 的谓词。换成内部满足模型 σψ ∈ [0,1]。内部奖励约定：继续或正确结束拿环境奖励，错误结束拿下界惩罚 rmin。固定目标下的 Qg、Vg 就是把 ACGVF 的 Bellman 方程里的 s 换成 z。下层学 mastery（既要到达目标，也要认出已经到达），上层在已掌握的目标里挑。
分段价值 Vg 在 d=1 后续值为 0，只给这一段打分。持续价值 Wg 在结束时加上上层续值 H(z)=maxg Wg(z)。两个动作如果同样结束当前目标、即时奖励也一样，一个把智能体留在许多高价值目标附近，一个把它困住：Vg 会视为等价，Wg 会选前者。边界上的宏观转移是半马尔可夫的，时长 Δk 进入折扣 γ^{Δk}。同一套结构在原语时间是 HHMM，在目标边界上是 option 式 semi-MDP。option 标签、终止和潜在信息状态全部在智能体内部。
学习分两种读法。Gt、Dt 没被记录（比如从示范里发现目标）时，这是受控 HHMM 似然，离散状态可用线性于序列长度的 EM。智能体自己选 G 和 D 时，它们对智能体是可观测的：用 TD 学 Qg 或 Wg，用 actor-critic 学下层和上层，用边界上的时长感知回报学 μη。时长正则 Ωdur 用来挡住两种退化：每步都结束，或永远不结束。
一个便利结论：有限目标集上，上层 critic 是下层目标条件价值的 μη 加权，可以丢掉一套参数，和 option-critic 是同一关系。代价是边界状态的分布不同于任意时刻，共用 critic 可能在上层优势估计处最不准。
没有实验数字，也没有对照基线。能核对的是结构主张：
| 对象 | 角色 |
| Gt | 分段恒定的目标，Dt=0 时复制 |
| Zt | 每步更新、跨目标保持的信息状态 |
| Dt | 下层向选目标器的返回 |
| Vg | 段结束后续值为 0 |
| Wg | 段结束后续值为 H(Zt+1) |
联合损失把满足模型、TD、on-policy critic、环境回报 J、时长正则加在一起，λ 管相对权重。J 用环境奖励给目标选择接地；TD 用带错误终止惩罚的内部奖励教 mastery。两者奖励函数不同，actor 和 critic 必须对齐，否则优势估计没有意义。
给正在做目标条件 RL、option、分层 POMDP 的人一张对接图。想让智能体自己维持一个意图、在部分可观测里认结束，不必再发明一套新记号：HHMM 的呼叫-返回已经是这个语法。分层的信用分配也写清楚了：原语奖励训下层，边界到边界的回报训选目标器。更深的层级按 HHMM 嵌套约束加层即可，下层没返回，上层不许动。
这是渐进的形式统一，不是新算法。读完还是要自己选离散还是连续 Z、要不要时长正则、满足标签从哪来。
短文自己几乎不谈实验局限，空白就是局限。没有仿真，不知道 σψ、时长正则和两套奖励在深度网络里是否打得过梯度干涉。满足模型在没有独立标签时被说成要走弱监督或隐变量，具体目标没给。上层 critic 可省，但训练分布错位只被点了一句。ACGVF「几乎覆盖先前所有 RL、控制和规划」的说法是概念性的，这篇没有证明。Z 被当作 (Z,G) 对控制充分的近似，学出来的表示离信念状态有多远，没有度量。