Unifying Goal-Conditioned RL and Unsupervised Skill Learning via Control-Maximization
Alireza Modirshanechi, Benjamin Eysenbach, Peter Dayan, Eric Schulz
NeurIPS 2026 (Oral Presentation
cs.LG, cs.AI, eess.SY
2026-05-07
三种目标奖励在同一环境里可以选出互斥的最优策略。技能互信息配上对应行为变量，才被证明能抬高下游目标敏感度。
无监督预训练已是目标条件强化学习（GCRL）的常规做法：一套策略要奔向任意指定目标。互信息技能学习（MISL）先不给任务奖励，只把技能练到看行为就能认出是哪一个。拿去达成目标时，缺的是理由：技能分得开，为什么就会赶路？
两边都是家族。达成目标至少有三种计分，行为多样可以看终点、看占用，也可以看整条轨迹。论文把两边收成一件事，把对未来轨迹的控制拉满。好的目标条件策略，是轨迹跟着指令走的策略。
稀疏奖励下有三种表述。
持续目标 Pe(γ)：目标一直在，每次到达得分 1−γ，再按 γ 折扣。回报等于折扣状态占用，即从起点瞄准该目标、按几何时刻抽样时抽中目标的概率。C-Learning、contrastive RL、LEXA、GoFAR 靠这条平稳结构或占用等价，不改就不能用到有限时域。
精确计时 ET(K) 只在第 K 步位于目标才得分。HER 最简重标注把指令改成轨迹终点，偏向这一支。
机会窗口 OW(K, γ) 在 K 步内到达即得分，γ 用来奖更快，覆盖随机最短路。Goal GAN 按窗口内到达概率造目标，对的是它。
命题 4.1：同一环境里，三者可以选出不同的最优策略。快和稳会打架。过河例子里，从 s1 起跳成功率是 8%，走桥更慢。附录取 K=2、捷径成功率 ε1<ε2。γ 大于 √ε1 和 √ε2、又小于 ε1/ε2 时，三条最优路径不同。
只奖一步时，三种表述是同一个问题。窗口拉到无穷，OW 与 Pe 共享平稳最优策略，为反复拜访训出的策略也能用来尽快到达。环境确定时两者都是最短路，窗口多长、目标是否持续都无关。每个状态都能原地等且 γ=1 时，先到再等，对有限时域的两种计分同时最优。
目标敏感度 C 是正确指令比随机指令平均多拿的回报。策略一致，指瞄准谁就更会拿到谁的分。环境不可控时，C 为 0。
定理 5.1：Pe 与 ET 上，J = C + 1/Ns，Ns 为状态数，控制最大恰好就是最优。回报非负且有界时，包括 OW，J ≥ Ns/(Ns−1)·C。OW 上控制最大不必最优，遗憾上界是 1 − Ns/(Ns−1)·C。
技能用确定性映射接到目标后，定理 6.1 用互信息逼近 C。Pe 看折扣占用，ET 看终点，上下界都可达，且随 C 升高。上界要一致性，下界不要。OW 该看折扣首次到达向量：每一维是首达该状态的折扣奖励。整条轨迹的互信息只是松上界。一般情形 OW 只有 I(G;F) ≥ 2C²。
命题 6.1：MISL 假定技能均匀，下游分布由目标和映射决定。技能数不超过行为变量取值数 N' 时，总变差 δ 造成的互信息差至多 h(δ)+δ log(N'²(N'−1))，h 为二元熵。目标均匀、映射把状态切成等大块时，差是 0。
论文没有基准成功率。能核对的是上面的关系，以及配错可以归零。
| 下游计分 | 配对变量 | 和敏感度的关系 |
| Pe(γ) 反复占据 | 折扣占用 | 互信息上下界可达，随 C 升高 |
| ET(K) 指定步到达 | 终点 | 同上；确定性时 empowerment = log(1+Ns C) |
| OW(K, γ) 窗口内到达 | 首次到达向量 | 一般仅 I≥2C²，轨迹互信息只是松上界 |
empowerment 指动作与未来状态的互信息。
技能可以轨迹各不相同、终点却一样。轨迹互信息已最大，ET 敏感度仍是 0，映射怎么接都没用。附录中 K=2、γ=1 的环境则相反：回报更高的策略敏感度更低。机会窗口上，控制拉满只是近似够用。
预训练目标要按测试计分选。反复占据配折扣占用，指定步到达配终点，截止前到达没有现成的紧保证。
δ 可以当诊断。技能再多，测试时很少被选中，下游几乎吃不到。技能数量变大，目标达成不会自动变好。
确定性任务是例外，最短路同时盖住持续目标和机会窗口。换一种计分就不能默认照搬。
没有新的训练方法。论文是 NeurIPS 2026 的理论结果。
状态、动作、技能都有限，常用基准是连续的，互信息界更难搬过去。目标被当成整个状态。实际目标常常只约束位置、不约束速度，多样性得改在相关量上算，正文没做。
映射取确定性。随机映射可以另计选择熵。目标均匀在附录里已放开。一致性不是全篇前提：第 4、5 节、命题 6.1 和互信息下界对任意策略成立，上界才用它。
机会窗口一般只有单向界，最合适的技能目标仍开放。下游若是窗口或其变体，现成预训练目标未必带来保证。
确定性基准上几种计分常常共享最短路，冲突有多大论文没有量。界是单调关系。变分近似和初始化会把配对目标和训出来的策略拉开，宽度没有估计。