Mitigating Partial Observability in Sequential Decision Processes via the Lambda Discrepancy
Cameron Allen, Aaron Kirtland, Ruo Yu Tao, Sam Lobel, Daniel Scott, Nicholas Petrocelli, Omer Gottesman, Ronald Parr, Michael L. Littman, George Konidaris
cs.LG, cs.AI, stat.ML
2024-07-10
比较两个不同 λ 的 TD 估值即可检测部分可观测;将其作为辅助损失训练循环 PPO,四个难 POMDP 上全部显著提升且从未变差。
强化学习的默认前提是世界是 MDP:拿到当前状态,转移和奖励就与历史无关。现实环境经常只给部分观测:T-maze 里整条走廊的格子看起来全一样,agent 必须记住出发时看到的颜色,才能在岔路口拿满分。以前的办法有两条,人工把历史观测或领域特征拼进输入,或者直接挂一个 RNN 端到端硬学。两条路有同一个盲区:没人知道表示什么时候「够用」。特征加少了学不动,还要求部署者懂业务细节;RNN 只拿奖励当梯度信号,「表示还缺信息」这件事本身没有损失项管。Brown、Berkeley、Duke 等团队在 NeurIPS 2024 的工作补上了这个缺口。
出发点藏在 TD(λ) 这个经典插值里:两个极端对历史的态度不同。
观测若满足 Markov 性,两条路收敛到同一不动点;不满足,就会出现差值。这个差被定义为 λ-discrepancy。两条定理兜底:block MDP(每个观测唯一对应一个隐状态)里它对一切策略恒为零;反过来,只要有一个策略能测出非零,几乎所有策略都能测出。所以随机采样一批策略,大概率就能发现部分可观测。
T-maze 的数字最直观:开头看到蓝色、到底向上必得 +4 时,MC 给蓝色观测估值 +4,TD(0) 给 1.95,它把 +4 和 −0.1 平均成了一半一半的掷硬币。
检测之后是修复。λ-discrepancy 对记忆函数参数可微,直接梯度下降最小化它,逼 RNN 把缺失信息编进隐状态。深度版的集成很朴素:循环 PPO(GRU 做记忆)挂两个不同 λ 的 critic,辅助损失取两个价值网络输出的均方差,与 PPO 的 actor-critic 损失一起端到端训练。
小规模验证在 7 个经典 POMDP 上做(T-maze、Tiger、Paint、Cheese Maze 等),用闭式梯度:先选 λ-discrepancy 最大的随机策略,再最小化它学记忆函数,之后跑 policy gradient。归一化性能(随机策略为 0、最优 belief 策略为 1)随记忆规模稳步上升,明显好于不做记忆优化的基线,30 个种子、95% 置信区间。
| 环境 | 规模 | 结果 |
| Battleship | 约 2^100 状态 | 显著优于 RNN-PPO 与无记忆 PPO |
| 部分可观测 PacMan | 约 5400 状态 | 同上,且记忆可视化能重建豆子位置 |
| RockSample(11,11)/(15,15) | — | 基线学会直接出口拿 +10 后停滞,加 LD 的版本继续上升 |
四个环境全部显著提升最终性能和学习速度,且没有任何环境比单 critic 的循环 PPO 差。两个旁证:超参扫描里两个 λ 拉得越开越好,最优值贴近 0 和 1,与理论一致;挂两个价值网络但不加辅助损失的对照从未被扫描选中,收益来自损失项,不是 critic 容量翻倍。
这是一个用现成零件拼出来的诊断工具。λ-discrepancy 只需要价值函数就能从采样数据估计,不需要知道隐状态空间,不需要环境模型,而价值函数本来就是 RL 的标配。判断环境是否部分可观测、表示是否够用,以前靠直觉加消融,现在有可微指标,还能直接当辅助损失。落地成本是一个 critic 加一行 loss。边界也清楚:它只说「缺记忆」,不指定「记什么」,记什么交给最小化过程自己找。
作者在附录里列了主要局限。一是存在检测不出的 POMDP:Parity Check 环境对所有策略 λ-discrepancy 恒为零,对称性把差异在奖励和观测两侧同时投影掉了。作者称这类环境处于「刀锋边缘」,轻微扰动参数即非零,加一个随机初始化的记忆函数也能打破对称,但没有给出稀有程度的定量刻画。二是深度版与理论脱节:定理针对收敛后的不动点,辅助损失最小化的却是两个尚未收敛的估计值之差,作者承认不知道为什么实践中依然有效,列为未来工作。三是实验虽称 large,仍是经典离散 POMDP benchmark,没有像素输入和连续控制,离常用的深度 RL 栈有距离。另外主文以学习曲线呈现,未给最终分数对照表,「从未变差」的结论基于超参扫描后的最优配置。