Learning to Perceive the World Through Control: Empowerment-Based Representation Learning
Mahsa Bastankhah, Sophie Broderick, Benjamin Eysenbach
cs.LG
2026-05-29
用 MISL 在三个带噪环境学到的表征，对可控维的方差至少约为噪声的一千倍，冻住后做奖励优化明显好过原始观测。
强化学习的观测维数通常远高于真正影响控制的变量。坐标、关节、接触该留下；墙的颜色、时间相关噪声、不影响动力学的像素不该进表征。bisimulation 靠奖励和转移合并状态，没有奖励就无法定义，当前奖励用不到的特征也会被丢掉，换任务就不够。固定数据集上的逆动力学要不变性，得假定采数据的策略已经不看无关特征，否则偏见进表征。
问题是：不给奖励，也不给现成轨迹，只靠交互，能否学出只保留控制相关信息的表征。
empowerment 在文中与 mutual information skill learning（MISL）混用。它最大化技能 z 与未来状态的互信息：从起点能分清的未来越多，这个量越大。优化用判别器做变分下界，看起点和到达状态，反推执行的技能。
判别器写成 q(z | ϕ(s0), ψ(s+))。ϕ 是前向表征，按未来可控结果聚类；ψ 是后向表征，按如何被到达聚类。同一格若只是墙色不同，未来动力学相同，前向表征相同。同一格旁一扇锁死的门、一扇以概率 0.5 开着的门，从任意起点都能用同一串动作到达，后向表征相同；开门格能控制的未来多得多，前向表征不同。已有实现常把两套编码器做成对称，这个目标里没有依据。
状态拆成 y、w、e。y 受动作推动；w 推不动，但会改 y 的转移，如摩擦或门的开闭；e 既推不动，也不影响别人。控制相关部分是 x，由 y 和 w 组成。至少存在一组 empowerment 最优策略完全不看 e。e 的未来不含技能身份，看 e 行动也扩大不了未来 x 的可达分布：看 e 的策略总能被只看 x 的策略打出同样的折扣占用。对照策略允许非平稳，而非平稳扩大不了可达集。表征只留预测技能所需的信息，前后向就都忽略 e。
这只是存在性。其他最优解仍可能看 e，所以要加策略最小性：占用相同的策略里，取状态与动作互信息最小者。动作接口整体重标号时（一套键位里 A 是跳，另一套里 B 是跳），MISL 执行对应动作，前向表征不变。后继表征跟着采数据策略走，没有这个保证。
没有额外假设时，前向加后向仍可能漏掉控制相关特征，命题 5.7 给了反例。命题 5.8 要求 x 的转移确定，且任意两个 x 都能从同一起点在 n 步内到达；此时 n 步 empowerment 的后向表征能把不同的 x 分开。对只依赖 x 的奖励，这份后向表征是不看奖励的充分统计量。按某个奖励做的 bisimulation 也会丢掉 e，该奖励没碰到的控制相关特征一样可能被删。
实现用 METRA。原目标是 Wasserstein 距离，后续工作证明它等价于互信息。原始观测外接一段不影响动力学、时间上相关的高斯噪声。敏感度的算法是每次只扰动一个维度，记表征协方差的迹。
| 环境 | 状态维 | 噪声维 | 表征方差 |
| Point Maze | 2 | 5 | 可控维至少约为噪声维的 10^3 倍 |
| Ant | 29 | 10 | 同上 |
| 像素 Kitchen | 64×64×3 | 10×10×3 | 同上 |
三个环境里，可控维度引起的表征变化至少约为无关噪声的一千倍。
下游冻住表征，用稠密环境奖励训练。Point Maze 和 Kitchen 用 SAC，Ant 用 PPO，对照是带噪原始状态。三条曲线都明显高于对照。最终回报差正文没给。
Point Maze 上，线性探针从表征回归坐标 (x, y)，R² 很快接近 1。训练噪声是 5 维、时间不相关的高斯；测试换成时间相关或跨维相关，图中时间相关系数直到 0.99，表征仍几乎不随噪声动。
表格 MDP 里，b 与 c 的后验平均 ℓ1 距离后向为 2、前向为 0；e 与 f 前向为 1、后向为 0。把本应不同的后向后验绑成相同，状态 A 的 empowerment 从 0.69 降到 0。
实验没加信息瓶颈。Point Maze 默认策略是 2 层 MLP、宽 1024、技能维 2。加到策略 5 层宽 1536、判别器 8 层宽 2048、技能维 16，收敛后噪声不变性仍在。
empowerment 原先用来学多样技能和探索。交互若以把未来走得可区分为目标，编码器会丢掉控制无关量，而且前向、后向不能对称绑定：表格例子里一绑，目标就从 0.69 掉到 0。
可用的流程是无奖励预训练。METRA 在带噪环境里交互，冻住编码器，再交给 SAC 或 PPO。逆动力学和后继表征要噪声不变，采数据策略得先不变；empowerment 自己会选出这种策略，不必先准备洗过的数据。
主实验只对照了原始观测。附录里 bisimulation 会被时间相关噪声带动，因为它靠潜在前向预测器；AC-state 则看采数据策略有没有注意噪声。两处都没有和 MISL 同设置的回报数字。横向排名还没有证据。
理论停在完全可观测，部分可观测没有分析。无关特征丢掉之后，表征能否恢复控制相关变量之间的因果结构，以及这套结构有没有用，都还不知道。
留住全部 x 要求转移确定且 n 步连通，否则有反例，前向加后向也会漏。随机的像素控制和接触任务用不上这条条件。R² 接近 1 只说明 Point Maze 的坐标还在表征里。
噪声不变的证明用策略最小性排除其他最优解，METRA 没有这个约束，理论还假定判别器能到贝叶斯后验。网络加大后仍不变，只代表这一种实现。噪声是拼接上去的高斯维或像素块。回报没有具体差值，也没有跟 bisimulation、AC-state 比学习曲线。动作接口不变性只在附录出现。