伯克利团队提出 Value Forcing:在每个噪声层级强制 Bellman 一致性
berkeley_ai · x · 2026-11-04
Sergey Levine 团队(UC Berkeley)发布 Value Forcing 方法,探索用 flow matching 的配方来学习 RL 价值函数。
- 此前把 flow matching 用于价值函数的尝试会产生有偏、塌缩的预测
- 团队发现关键在于:不仅在最终价值上,而是在每一个噪声层级都强制 Bellman 一致性
- 由此得到准确的价值估计器,即使数据量很小也能工作,且产出能更好刻画价值分布的分布形态,进而带来更优策略
Chongyi Zheng 的推文指出,flow matching 已在机器人与 RL 策略上很成功,这项工作把同一配方推广到价值函数估计。
所属事件:伯克利团队提出 Value Forcing 用于价值函数学习(2 条相关)→
「具身」频道最新
- 黑客马拉松 22 个 SAM 3.1 用例: wildfire 定位到文档修复 — Vjeux · 2026-11-04
- OpenAI 前机器人实习生上 Cerebras 播客,拆解爆火 Astra 机器人绘画 demo — AccBalanced · 2026-11-04
- 实证研究:闭源 VLM 全面领先机器人任务,开源模型规划能力掉队 — Haojian Huang · 2026-11-04
- PrimeBot 发布 PrimeSim:跨本体大规模演示训练的通用世界模型模拟器 — Travis Davies · 2026-11-04
- 旧金山本周末办 Physical AI 黑客松：Dream-1 世界动作模型零样本任务+万元奖金 — Scobleizer · 2026-11-04
- Figure 机器人办公室演示片曝光，CEO 称场景如科幻电影 — adcock_brett · 2026-11-04