港大清华提出 VAST:让 RL 自选价值回传的时间跨度
jiqizhixin · x · 2026-11-04
HKU 与清华合作、 reported 为 NeurIPS 2026 论文的 VAST 方法,主张长时程控制应按情境灵活选择价值回传(backup)的长度,而非对所有状态固定同一个时间步长。
三个要点
- 分段价值打分:引入 G 函数估计当前状态到未来状态在选定跨度内的折扣回报,通过组合一致性约束使不同时间尺度上的分段估计相互吻合
- 同时选终点与时长:一个 stitching 策略选出未来子目标及其跨度,将分段回报与下游价值结合;独立的 goal-conditioned 执行策略将其转为动作,且不把预测跨度作为输入
- 实验:在 50 个 state-based OGBench 任务上取得强或具竞争力的表现,尤其在困难任务上
配图为方法示意图,展示 G/V 分解、跨时长组合(stitching)与最优目标结构。
「研究」频道最新
- UBC 发 Kev-Bio 模型：用临床提问引导超声自动测量 — UBC-V · 2026-11-04
- PixelBench：用逐像素生成取代 QA,重新测多模态模型 — bdsqlsz · 2026-11-04
- Chollet 提问:单细胞如何仅靠基因组信息把自己连成大脑 — CatAstro_Piyush · 2026-11-04
- OffsecCyber 数据集发布：整合 HackerOne 报告与 CVE 训练渗透测试 LLM — AccBalanced · 2026-11-04
- 研究：「单次事实」占比决定 LLM 科学发现能力 — CatAstro_Piyush · 2026-11-04
- 把 TPU 编译进 Qwen 权重：0.8B 模型跑出精确矩阵乘法 — CatAstro_Piyush · 2026-11-04