无奖励无预训练,C-Slerp 从零学会五方块堆叠等长程任务

ben_eysenbach · x · 2026-10-20

Ben Eysenbach 分享其参与 9 个月指导的新论文：目标条件强化学习方法 C-Slerp，能在没有任何先验数据、奖励或预训练模型的情况下，从零解决极长程任务（如五方块堆叠）。核心是用超球面对比表征（hyperspherical contrastive representations），并从中以闭式解（closed form）推断路径点。Eysenbach 在推文中给出三层理解：①一种高层策略闭式计算的分层 RL；②将非线性动力学映射到潜空间的规划算法，规划对应布朗桥（Brownian Bridge）；③支持时域泛化的表征学习。他还反思了对探索的认知：表征会先学习环境结构，未见过的目标被映射到表征中，策略朝其前进，若目标不存在则更新表征重新映射——解释了如何找到随机探索永远碰不到的目标。