UC Berkeley 新论文:首个从离线数据估计 empowerment 的可行方法
svlevine · x · 2026-10-21
Sergey Levine 团队(UC Berkeley/Princeton,作者含 Ishir Garg、Vivek Myers、Benjamin Eysenbach 等)发布新论文《Measuring Empowerment from Offline Data for Intrinsically Motivated Exploration》。核心内容:
- empowerment 衡量智能体在某状态下可实现多少未来状态,是「哪些状态值得探索」的无监督价值指标——empowerment 高的状态有更多未来分支,需要更多探索
- 难点:现有估计方法都需要在线环境交互 rollout,难以 tractable
- 贡献:首个从无标注离线先验数据中估计 empowerment 的方法,不需要任何环境交互;通过联合学习 empowerment 最大化策略及其折扣状态占据测度,可在任意未知策略生成的轨迹上训练
- 验证:估计器给出直观的 empowerment 度量,且预训练后的估计器可提升在线 goal-conditioned RL 的探索效率
对机器人与代码等已有大量无标注经验数据的 agent 领域尤其实用。代码已开源。
「具身」频道最新
- REK 机器人格斗赛现场曝光：终结者造型机甲挂链待战 — edgarpavlovsky · 2026-10-21
- 热观点：智能家居的未来不是人形机器人，而是标准化空间 — alysha_lobo · 2026-10-21
- SF 现场图：机器人格斗赛选手「伤退」被担架抬出笼 — itsclivetime · 2026-10-21
- CFG 让单步离散动作成功率从 27.1% 升至 49.2%，研究者澄清其原理 — YouJiacheng · 2026-10-21
- Menlo 开源 Asimov 人形机器人 RL 训练框架 Cyclotron — freelerobot · 2026-10-21
- NVIDIA 打造 AI 外科手术模拟器，单卡 RTX 实时生成手术画面 — Scobleizer · 2026-10-21