TD(0)与TD(1)不一致即需记忆：λ-差异度量破解部分可观测RL
tomssilver · x · 2026-10-12
NeurIPS 2024 论文提出 λ-差异（λ-discrepancy）指标，用于在没有真实状态空间信息的情况下检测智能体所学表征是否为非马尔可夫，并据此缓解部分可观测问题。
- 核心思路：分别用 TD(λ=0) 与 TD(λ=1) 计算价值估计，前者隐含马尔可夫假设、后者不依赖；两者估计的差异可作为状态表征非马尔可夫的信号。
- 理论结果：作者证明对所有马尔可夫决策过程 λ-差异恰好为零，而对一大类部分可观测环境几乎总非零，即该指标可精确区分两类情形。
- 实践用途：检测到非零差异后，最小化 λ-差异可以指导学习一个记忆函数（memory function），从而弥补观测缺失带来的部分可观测性。
- 作者团队来自 Brown 等机构，含 Michael Littman、George Konidaris 等强化学习领域学者。论文对经典 TD(λ) 框架给出了新的诊断视角。
「研究」频道最新
- 复旦等发布 SocioVerse2：可干预的纵向 LLM 社会模拟框架 — jiqizhixin · 2026-10-12
- 1200万单细胞研究揭示免疫衰老，T细胞双态或催生实用血检 — EricTopol · 2026-10-12
- 社区众包+AI agent 一天狂提 69%，整数乘法 κ 界破 10⁻³ — CatAstro_Piyush · 2026-10-12
- 新论文:用 Stein 位移场统一估计密度比与分布位移 — _onionesque · 2026-10-12
- JaxAHT 发布 v1.1:基于 JAX 的 Ad Hoc Teamwork 基准与库 — PeterStone_TX · 2026-10-12
- 做 agent 记忆层 founder 实测:72% 命中率下三分之二的失败是模型在「装傻」 — Archilas-Memory · 2026-10-12