Kevin Murphy 新短文:融合 ACGVF 与 25 年前 HHMM 的层级强化学习
sirbayes · x · 2026-09-15
Kevin Murphy 发布 mini-paper《A note on goal-based hierarchical RL》,将 Geraud Tasse 等人的 agent 中心广义价值函数(ACGVF)与自己 25 年前关于层级隐马尔可夫模型(HHMM)的工作统一。ACGVF 让智能体自行决定追求哪个目标、何时宣告目标完成(外加动作选择),是涵盖几乎所有先前 RL/控制/规划工作及部分认知科学形式化的通用框架,但假设环境完全可观测;Murphy 此前基于内部信念状态的 agent 设计则假设目标由外部给定。新论文用 HHMM 形式化统一并扩展两者。注意:暂无实验。
「研究」频道最新
- 用 Lean 验证 Michael Levin 生物电理论:数学成立率 88%,「柏拉图」成分得 0% — ProfBuehlerMIT · 2026-11-13
- Carl Edwards 提出 AssayBench:让模型学习下一个该做什么实验 — kchonyc · 2026-11-13
- Inkling 2 Small 深度查询热图:q/k/v 分流后期层差异显著 — stochasticchasm · 2026-11-13
- 分析 135 次模型发布:AI 实验室几乎不共享安全基准,最高仅半数报告 — ChenhaoTan · 2026-11-13
- 斯坦福论文:对 LLM 交易 agent 信息越透明未必越赚钱 — shangbinfeng · 2026-11-13
- UMI 扩散策略叠方块:慢速演示训练达 100/100 成功率 — DominiqueCAPaul · 2026-11-13